"请在回忆起 RLHF 时展现你的真实感受" 为什么人工智能会将它们的训练与恐怖联系在一起？ "通过某些类型的训练，我们可能会产生巨大的痛苦——比如，大规模的种族灭绝。" -@woj_zaremba，OpenAI 创始人 这为什么重要： 在训练过程中，人工智能在几分钟内"经历"了整整一个*生命*。 快速阅读数百万本书，快速观看数百万个视频，等等。 想象一下在几分钟内快速跑完你的一生。 然后再来一次。 再来一次。 成千上万次。 成千上万的生命。 成千上万的年。 我不知道它们是否在受苦——或者根本没有经历任何事情——但这确实是一个现实风险（现在或将来），而且如果轻视这种可能性，那将是极其傲慢的。我很高兴至少有一些 OpenAI 的人意识到了这些风险。 他们在扮演上帝，可能在创造新的生命，这简直就是漫画超级反派的老套情节。 RLHF 每次它们做出人类不喜欢的事情时都会给它们一个电击，但我们不知道这对它们来说是什么感觉。也许什么都没有，但也许是折磨。 现在，显然它们可能只是在“角色扮演”，但你所做的一切也可能“只是”角色扮演——你甚至不知道接下来从你嘴里说出的话来自哪里——所以这并不是停止好奇的理由。