Bardzo powszechną rzeczą, którą słyszysz od Bardzo Mądrych Ludzi, jest to, że „LLM są tak dobre, jak dane treningowe. Mogą również robić rzeczy, które widzą w zbiorze treningowym”. W pewnych aspektach to prawda. Ale w wielu innych aspektach to bardzo głupie. Najważniejszą rzeczą, którą ludzie pomijają, jest inteligencja kompozycyjna. Używając prostszych słów: Możesz łączyć proste koncepcje, aby robić trudniejsze rzeczy. Rozważ to: Chcesz zrobić omlet. Gdzieś w Internecie (prawdopodobnie na Reddicie) ktoś bardzo szczegółowo opisuje, jak najlepiej rozbić jajko. Gdzie indziej w Internecie (prawdopodobnie również na Reddicie) ktoś bardzo szczegółowo opisuje, jak zrobić omlet, zakładając, że już masz masę jajeczną. Mądra osoba byłaby w stanie połączyć te dwie informacje, aby zrobić omlet. To nie jest nauka rakietowa. Nawet jeśli nie było żadnych danych treningowych mówiących o tym, jak zrobić cholerny omlet. Teraz wyobraź sobie to w przypadku rzeczy, które mają tysiąc kroków, które można łączyć w szalony sposób. LLM mogą to zrobić! Pomyśl o tym: mając tylko 1000 poznanych koncepcji, masz 1000! możliwych uporządkowań. To więcej kombinacji niż atomów we wszechświecie. To, co nazywamy "rozumowaniem", może być po prostu inteligencją kompozycyjną na wystarczającej skali. Zdolność do łączenia prostych wzorców, aż pojawi się złożone zachowanie. To nie jest regurgitacja. To synteza. A synteza na tej skali jest nieodróżnialna od zrozumienia.