Una cosa muy común que escuchas de Very Smart People es "Los LLM son tan buenos como los datos de entrenamiento. También pueden hacer cosas que ven en el conjunto de entrenamiento". De alguna manera, esto es bastante cierto. Pero en muchos otros sentidos, es muy tonto. Lo más importante que la gente echa de menos es la inteligencia compositiva. Usar palabras más simples: Puedes encadenar conceptos simples para hacer cosas más difíciles. Considere esto: quieres hacer una tortilla. En algún lugar de Internet (probablemente Reddit), alguien profundiza mucho en cómo romper un huevo mejor. En otro lugar de Internet (probablemente también en Reddit), alguien profundiza mucho en cómo hacer una tortilla suponiendo que ya tienes una masa de huevo. Una persona inteligente sería capaz de combinar estos dos conocimientos para hacer una tortilla. Esto no es ciencia espacial. Incluso si no había datos de entrenamiento que hablaran sobre cómo hacer una maldita tortilla. Ahora imagina esto pero para cosas que tienen mil pasos que se combinan de maneras factoriales locas. ¡Los LLM pueden hacer eso! Piénsalo: ¡con solo 1000 conceptos aprendidos, tienes 1000! posibles pedidos. Eso es más combinaciones que átomos en el universo. Lo que llamamos "razonamiento" podría ser simplemente inteligencia composicional a escala suficiente. La capacidad de encadenar patrones simples hasta que surja un comportamiento complejo. Esto no es regurgitación. Es síntesis. Y la síntesis a esta escala es indistinguible de la comprensión.