Um novo artigo deve assustá-lo. Quando os LLMs competem por curtidas nas redes sociais, eles inventam coisas. Quando competem por votos, eles lutam. Quando otimizados para públicos, eles ficam desalinhados. Por que? Os LLMs são treinados em Esgoto do Reddit e da Wikipedia. Os dados off-line das décadas de 1870 a 1970 são melhores. Não apenas por causa da alta proteína, mas por causa da maneira como os humanos se apresentavam e suas ideias. O Reddit obviamente é uma forma de apresentação de baixa qualidade para os LLMs aprenderem e a Wikipedia são dados apresentados como "fatos" arrogantes com "desmascaramento" e "ciência estabelecida". Ambos são inúteis e altamente tóxicos para uma IA honesta. Mas "cresça rápido" e "melhor o teste de referência". Conseguiremos o que conseguirmos. Os LLMs são um reflexo do que eles aprendem e temos um grande problema. Link: