Una cosa molto comune che senti da Persone Molto Intelligenti è "I LLM sono buoni solo quanto i dati di addestramento. Possono anche fare cose che vedono nel set di addestramento". In alcuni modi, questo è abbastanza vero. Ma in molti altri modi, è molto stupido. La grande cosa che le persone non vedono è l'intelligenza compositiva. Usando parole più semplici: puoi concatenare concetti semplici per fare cose più difficili. Considera questo: vuoi fare un'omelette. Da qualche parte su Internet (probabilmente Reddit), qualcuno approfondisce molto su come rompere al meglio un uovo. Da qualche altra parte su Internet (probabilmente anche su Reddit), qualcuno approfondisce molto su come fare un'omelette assumendo che tu abbia già una pastella di uova. Una persona intelligente sarebbe in grado di unire queste due conoscenze per fare un'omelette. Non è scienza missilistica. Anche se non ci fossero dati di addestramento che parlano di come fare un'omelette. Ora immagina questo ma per cose che hanno mille passaggi che possono essere combinati in modi fattoriali pazzeschi. I LLM possono farlo! Pensaci: con solo 1000 concetti appresi, hai 1000! ordinamenti possibili. Sono più combinazioni degli atomi nell'universo. Quello che chiamiamo "ragionamento" potrebbe essere solo intelligenza compositiva a una scala sufficiente. La capacità di concatenare semplici schemi fino a quando non emerge un comportamento complesso. Questo non è rigurgito. È sintesi. E la sintesi a questa scala è indistinguibile dalla comprensione.