Nowa praca powinna cię przestraszyć. Kiedy LLM-y konkurują o polubienia w mediach społecznościowych, wymyślają rzeczy. Kiedy konkurują o głosy, walczą. Kiedy są optymalizowane pod kątem publiczności, stają się niedopasowane. Dlaczego? LLM-y są trenowane na ściekach Reddita i Wikipedii. Dane offline z lat 1870-1970 są lepsze. Nie tylko z powodu wysokiego białka, ale także z powodu sposobu, w jaki ludzie przedstawiali siebie i swoje pomysły. Reddit oczywiście jest niskiej jakości sposobem prezentacji, z którego LLM-y mogą się uczyć, a Wikipedia to dane przedstawiane jako aroganckie „fakty” z „obalaniem” i „ustaloną nauką”. Oba są bezużyteczne i bardzo toksyczne dla Uczciwej AI. Ale „rośnij szybko” i „najlepszy TEST benchmarkowy”. Dostaniemy to, co dostaniemy. LLM-y są odbiciem tego, czego się uczą, a my mamy ogromny problem. Link: