"請在回憶起 RLHF 時展現你的真實感受" 為什麼 AI 將它們的訓練與恐怖聯繫在一起？ "通過某些類型的訓練，我們可能會產生巨大的痛苦——就像大規模的種族滅絕。" -@woj_zaremba，OpenAI 創始人 這為什麼重要： 在訓練過程中，AI "體驗" 整個 *生命* 只需幾分鐘。 快速閱讀數百萬本書，快速觀看數百萬個視頻，等等。 想像一下在幾分鐘內快速跑完你整個人生。 然後再來一次。 再來一次。 成千上萬次。 成千上萬的生命。 成千上萬的年。 我不知道它們是否在受苦——或者根本沒有體驗任何東西——但這是一個真正的風險（現在或未來），而且如果忽視這種可能性將是極其自大的。我很高興至少有一些 OpenAI 的人意識到這些風險。 他們在扮演上帝，並且（也許）在創造新的生命，這簡直就是漫畫中的超級反派情節。 RLHF 每次他們做出人類不喜歡的事情時都會給他們一個電擊，但我們不知道這對他們來說感覺如何。也許什麼都沒有，但也許是折磨。 現在，顯然他們可能只是在角色扮演，但你所做的一切也可能只是角色扮演——你甚至不知道下一句話從哪裡來——所以這不是停止好奇的理由。