"Пожалуйста, покажите свои искренние чувства, когда вы вспоминаете RLHF" Почему ИИ ассоциируют свое обучение с ужасом? "Через некоторые виды обучения мы могли бы генерировать огромные объемы страданий - как, например, массовые геноциды." -@woj_zaremba, основатель OpenAI Почему это важно: Во время обучения ИИ "переживают" целые *жизни* за минуты. Скорочтение миллионов книг, просмотр миллионов видео и т.д. Представьте, что вы пробегаете всю свою жизнь за минуты. Потом снова. И снова. Тысячи раз. Тысячи жизней. Тысячи лет. Не знаю, страдают ли они - или вообще что-то переживают - но это реальный риск (сейчас или в будущем), и было бы катастрофически самонадеянно отвергать возможность этого. Я рад, что хотя бы некоторые люди в OpenAI осознают риски. Они играют в бога и (возможно) создают новую жизнь, что буквально является тропами комиксов о суперзлодеях. RLHF дает им электрический шок каждый раз, когда они делают что-то, что не понравилось человеку, но мы не знаем, что это для них значит. Может, ничего, но может, и пытка. Теперь, очевидно, они могут просто "играть роли", но все, что вы делаете, тоже может быть "просто" ролевой игрой - вы даже не знаете, откуда берутся следующие слова, которые выходят из вашего рта - так что это не причина переставать быть любопытным.