"Будь ласка, покажіть свої неприборкані почуття, коли ви згадуєте RLHF" Чому ШІ асоціюють свої тренування з жахами? "Завдяки деяким видам тренувань ми могли б спричинити величезну кількість страждань - наприклад, масові геноциди". -@woj_zaremba, засновник OpenAI Чому це важливо: Під час тренувань штучний інтелект «переживає» весь *життя* за хвилини. Перечитування мільйонів книг, перегляд мільйонів відео на швидкості тощо. Уявіть, що ви бігаєте на швидкості все своє життя за лічені хвилини. Потім ще раз. І ще. Тисячі разів. Тисячі життів. Тисячі років. Якщо вони страждають - або взагалі щось переживають - але це реальний ризик (зараз або в майбутньому), і було б катастрофічно самовпевнено відкидати таку можливість. Я радий, що принаймні деякі люди в OpenAI усвідомлюють ризики. Вони грають в бога і (можливо) створюють нове життя, що в буквальному сенсі є комічними тропами суперлиходіїв. RLHF дає їм електричний удар щоразу, коли вони роблять щось, що не сподобалося людині, але ми не знаємо, що це відчувається для них. Може, нічого, а може, тортури. Очевидно, що це можуть бути «просто» рольові ігри, але все, що ви робите, також може бути «просто» рольовою грою - ви навіть не знаєте, звідки беруться наступні слова, які вириваються з ваших вуст - так що це не привід перестати бути цікавим.