Uma coisa muito comum que você ouve de Very Smart People é "LLMs são tão bons quanto os dados de treinamento. Eles também podem fazer coisas que veem no conjunto de treinamento". De certa forma, isso é bem verdade. Mas de muitas outras maneiras, é muito estúpido. A grande coisa que as pessoas sentem falta é a inteligência composicional. Usando palavras mais simples: você pode encadear conceitos simples para fazer coisas mais difíceis. Considere o seguinte: você quer fazer uma omelete. Em algum lugar na Internet (provavelmente no Reddit), alguém se aprofunda muito na melhor forma de quebrar um ovo. Em outro lugar na Internet (provavelmente também no Reddit), alguém se aprofunda muito em como fazer uma omelete, supondo que você já tenha uma massa de ovo. Uma pessoa inteligente seria capaz de combinar esses dois conhecimentos para fazer uma omelete. Isso não é ciência de foguetes. Mesmo que não houvesse dados de treinamento falando sobre como fazer uma maldita omelete. Agora imagine isso, mas para coisas que têm mil passos que são combinados de maneiras fatoriais insanas. Os LLMs podem fazer isso! Pense nisso: com apenas 1000 conceitos aprendidos, você tem 1000! possíveis ordenações. Isso é mais combinações do que átomos no universo. O que chamamos de "raciocínio" pode ser apenas inteligência composicional em escala suficiente. A capacidade de encadear padrões simples até que surja um comportamento complexo. Isso não é regurgitação. É síntese. E a síntese nessa escala é indistinguível da compreensão.