Uma coisa muito comum que você ouve de Pessoas Muito Inteligentes é "Os LLMs são tão bons quanto os dados de treinamento. Eles também podem fazer coisas que veem no conjunto de treinamento". De certa forma, isso é bastante verdade. Mas de muitas outras maneiras, é muito estúpido. A grande coisa que as pessoas perdem é a inteligência composicional. Usando palavras mais simples: Você pode encadear conceitos simples para fazer coisas mais difíceis. Considere isto: Você quer fazer uma omelete. Em algum lugar na Internet (provavelmente no Reddit), alguém se aprofunda muito sobre como quebrar um ovo da melhor maneira. Em outro lugar na Internet (provavelmente também no Reddit), alguém se aprofunda muito sobre como fazer uma omelete assumindo que você já tem uma massa de ovo. Uma pessoa inteligente seria capaz de combinar essas duas peças de conhecimento para fazer uma omelete. Isso não é ciência de foguetes. Mesmo que não houvesse dados de treinamento falando sobre como fazer uma maldita omelete. Agora imagine isso, mas para coisas que têm mil etapas que podem ser combinadas de maneiras insanas fatoriais. Os LLMs podem fazer isso! Pense nisso: com apenas 1000 conceitos aprendidos, você tem 1000! ordenações possíveis. Isso é mais combinações do que átomos no universo. O que chamamos de "raciocínio" pode ser apenas inteligência composicional em escala suficiente. A capacidade de encadear padrões simples até que um comportamento complexo emerja. Isso não é regurgitação. É síntese. E a síntese em escala é indistinguível de compreensão.