Um novo artigo deve assustá-lo. Quando os LLMs competem por curtidas nas redes sociais, eles inventam coisas. Quando competem por votos, eles lutam. Quando otimizados para o público, eles se tornam desalinhados. Por quê? Os LLMs são treinados com o esgoto do Reddit e da Wikipedia. Dados offline da década de 1870 a 1970 são melhores. Não apenas por causa da alta proteína, mas pela forma como os humanos se apresentavam e suas ideias. O Reddit, obviamente, é uma maneira de apresentação de baixa qualidade para os LLMs aprenderem e a Wikipedia é um dado apresentado como “fatos” arrogantes com “desmistificação” e “ciência estabelecida”. Ambos são inúteis e altamente tóxicos para uma IA Honesta. Mas “crescer rápido” e “melhor O teste de referência”. Vamos obter o que temos. Os LLMs são um reflexo do que aprendem e temos um grande problema. Link: