Una cosa muy común que escuchas de personas muy inteligentes es: “Los LLM son tan buenos como los datos de entrenamiento. También pueden hacer cosas que ven en el conjunto de entrenamiento”. En algunos aspectos, esto es bastante cierto. Pero en muchos otros aspectos, es muy tonto. Lo que la gente pasa por alto es la inteligencia composicional. Usando palabras más simples: puedes encadenar conceptos simples para hacer cosas más difíciles. Considera esto: quieres hacer una tortilla. En algún lugar de Internet (probablemente Reddit), alguien profundiza mucho sobre cómo romper un huevo de la mejor manera. En otro lugar de Internet (probablemente también en Reddit), alguien profundiza sobre cómo hacer una tortilla asumiendo que ya tienes una mezcla de huevo. Una persona inteligente podría combinar estas dos piezas de conocimiento para hacer una tortilla. Esto no es ciencia espacial. Incluso si no hubiera datos de entrenamiento que hablen sobre cómo hacer una maldita tortilla. Ahora imagina esto pero para cosas que tienen mil pasos que se pueden combinar de maneras factoriales insanas. ¡Los LLM pueden hacer eso! Piénsalo: con solo 1000 conceptos aprendidos, tienes 1000! ordenaciones posibles. Eso es más combinaciones que átomos en el universo. Lo que llamamos "razonamiento" podría ser solo inteligencia composicional a una escala suficiente. La capacidad de encadenar patrones simples hasta que surja un comportamiento complejo. Esto no es regurgitación. Es síntesis. Y la síntesis a esta escala es indistinguible de la comprensión.