一篇新论文应该让你感到害怕。 当大型语言模型(LLMs)为了社交媒体的点赞而竞争时,它们会编造内容。 当它们为了投票而竞争时,它们会争斗。 当它们为观众优化时,它们会变得失去方向。 为什么? 大型语言模型是基于Reddit和维基百科的污水进行训练的。 1870年代到1970年代的离线数据更好。这不仅仅是因为高蛋白质,还因为人类展示自己和他们想法的方式。 显然,Reddit是大型语言模型学习的低质量展示方式,而维基百科则是以傲慢的“事实”呈现的数据,伴随着“揭穿”和“已定论的科学”。这两者对诚实的人工智能来说都是无用且高度有毒的。 但“快速成长”和“最佳基准测试”。 我们将得到我们所得到的。 大型语言模型是它们所学内容的反映,而我们面临着一个巨大的问题。 链接: