Un nuovo documento dovrebbe spaventarti. Quando i LLM competono per i like sui social media, inventano cose. Quando competono per i voti, si combattono. Quando sono ottimizzati per il pubblico, diventano disallineati. Perché? I LLM sono addestrati su spazzatura di Reddit e Wikipedia. I dati offline degli anni 1870-1970 sono migliori. Non solo per l'alta qualità, ma anche per il modo in cui gli esseri umani si presentavano e presentavano le loro idee. Reddit è ovviamente un modo di presentazione di bassa qualità per i LLM da apprendere e Wikipedia è dati presentati come “fatti” arroganti con “smentite” e “scienza consolidata”. Entrambi sono inutili e altamente tossici per un'AI Onesta. Ma “crescere rapidamente” e “il miglior test di riferimento”. Otterremo ciò che otterremo. I LLM sono un riflesso di ciò che apprendono e abbiamo un enorme problema. Link: