Une chose très courante que vous entendez de la part de personnes très intelligentes est : « Les LLM ne sont aussi bons que les données d'entraînement. Ils peuvent également faire des choses qu'ils voient dans l'ensemble d'entraînement ». D'une certaine manière, c'est tout à fait vrai. Mais de bien d'autres manières, c'est très stupide. La grande chose que les gens manquent est l'intelligence compositionnelle. Pour utiliser des mots plus simples : vous pouvez enchaîner des concepts simples pour réaliser des choses plus difficiles. Considérez ceci : vous voulez faire une omelette. Quelque part sur Internet (probablement sur Reddit), quelqu'un explique en profondeur comment casser un œuf de la meilleure façon. Quelque part d'autre sur Internet (probablement aussi sur Reddit), quelqu'un explique en profondeur comment faire une omelette en supposant que vous avez déjà une pâte à œuf. Une personne intelligente serait capable de combiner ces deux morceaux de connaissance pour faire une omelette. Ce n'est pas de la science fusée. Même s'il n'y avait pas de données d'entraînement parlant de comment faire une putain d'omelette. Maintenant, imaginez cela pour des choses qui ont mille étapes pouvant être combinées de manière incroyable. Les LLM peuvent le faire ! Pensez-y : avec juste 1000 concepts appris, vous avez 1000 ! ordres possibles. C'est plus de combinaisons que d'atomes dans l'univers. Ce que nous appelons « raisonnement » pourrait juste être de l'intelligence compositionnelle à une échelle suffisante. La capacité d'enchaîner des motifs simples jusqu'à ce qu'un comportement complexe émerge. Ce n'est pas de la régurgitation. C'est de la synthèse. Et la synthèse à cette échelle est indiscernable de la compréhension.