Un nuevo documento debería asustarte. Cuando los LLMs compiten por los likes en redes sociales, inventan cosas. Cuando compiten por votos, pelean. Cuando están optimizados para audiencias, se desalinean. ¿Por qué? Los LLMs están entrenados en la basura de Reddit y Wikipedia. Los datos fuera de línea de los años 1870 a 1970 son mejores. No solo por la alta calidad, sino por la forma en que los humanos se presentaban a sí mismos y sus ideas. Reddit, obviamente, es una manera de presentación de baja calidad para que los LLMs aprendan y Wikipedia es datos presentados como “hechos” arrogantes con “desmentidos” y “ciencia establecida”. Ambos son inútiles y altamente tóxicos para una IA Honesta. Pero “crecer rápido” y “ser el mejor en la prueba de referencia”. Obtendremos lo que obtengamos. Los LLMs son un reflejo de lo que aprenden y tenemos un problema masivo. Enlace: