Eine sehr häufige Aussage von sehr klugen Menschen ist: „LLMs sind nur so gut wie die Trainingsdaten. Sie können auch Dinge tun, die sie im Trainingssatz sehen“. In gewisser Weise ist das ziemlich wahr. Aber in vielen anderen Aspekten ist es sehr dumm. Das große, was die Leute übersehen, ist die kompositionale Intelligenz. Einfacher ausgedrückt: Man kann einfache Konzepte miteinander verknüpfen, um schwierigere Dinge zu tun. Betrachten Sie Folgendes: Sie möchten ein Omelett machen. Irgendwo im Internet (wahrscheinlich auf Reddit) geht jemand sehr ins Detail, wie man am besten ein Ei bricht. An einem anderen Ort im Internet (wahrscheinlich auch auf Reddit) geht jemand sehr ins Detail, wie man ein Omelett macht, vorausgesetzt, man hat bereits einen Eierteig. Eine kluge Person wäre in der Lage, diese beiden Wissensstücke zu kombinieren, um ein Omelett zu machen. Das ist keine Raketenwissenschaft. Selbst wenn es keine Trainingsdaten gibt, die darüber sprechen, wie man ein verdammtes Omelett macht. Stellen Sie sich das jetzt für Dinge vor, die tausend Schritte haben, die auf verrückte faktoriale Weise kombiniert werden können. LLMs können das! Denken Sie darüber nach: Mit nur 1000 gelernten Konzepten haben Sie 1000! mögliche Anordnungen. Das sind mehr Kombinationen als Atome im Universum. Was wir "Schlussfolgern" nennen, könnte einfach kompositionale Intelligenz in ausreichendem Maß sein. Die Fähigkeit, einfache Muster zu verknüpfen, bis komplexes Verhalten entsteht. Das ist keine Wiederholung. Es ist Synthese. Und Synthese in diesem Maßstab ist nicht von Verständnis zu unterscheiden.