Un nuevo artículo debería asustarte. Cuando los LLM compiten por los "me gusta" en las redes sociales, inventan cosas. Cuando compiten por los votos, luchan. Cuando se optimizan para las audiencias, se desalinean. ¿Por qué? Los LLM están capacitados en aguas residuales de Reddit y Wikipedia. Los datos fuera de línea de las décadas de 1870 y 1970 son mejores. No solo por el alto contenido de proteínas, sino por la forma en que los humanos se presentaban a sí mismos y sus ideas. Reddit obviamente es una forma de presentación de baja calidad para que los LLM aprendan y Wikipedia son datos presentados como "hechos" arrogantes con "desacreditación" y "ciencia establecida". Ambos son inútiles y altamente tóxicos para una IA honesta. Pero "crecer a lo grande rápido" y "mejor LA prueba de referencia". Obtendremos lo que obtengamos. Los LLM son un reflejo de lo que aprenden y tenemos un problema enorme. Enlace: