Very Smart Peopleからよく聞く言葉は、「LLMの良し悪しはトレーニングデータによって決まります。また、トレーニングセットで見られることもできる」と語った。 ある意味、これはまったく真実です。 しかし、他の多くの点で、それは非常に愚かです。 人々が見逃している大きなことは、構成上の知性です。 より簡単な言葉を使う: 単純な概念をつなぎ合わせて、より難しいことを実行できます。 これを考えてみましょう:あなたはオムレツを作りたいです。 インターネットのどこか(おそらくReddit)で、誰かが卵を割る最善の方法について非常に深く掘り下げています。 インターネット上の別の場所(おそらくRedditでも)では、すでに卵の生地があると仮定して、オムレツの作り方について非常に深く掘り下げている人がいます。 賢い人なら、この2つの知識を組み合わせてオムレツを作ることができるだろう。 これはロケット科学ではありません。 たとえいまいましいオムレツの作り方について語るトレーニングデータがなかったとしても。 さて、これを想像してみてくださいが、非常識な階乗の方法で結合される1000のステップを持つものについてです。LLMはそれを可能にします! 考えてみてください:たった1000の学習した概念で、1000の概念があります。可能な順序。これは、宇宙の原子よりも多くの組み合わせです。 私たちが「推論」と呼ぶものは、十分な規模の構成的知性にすぎないかもしれません。複雑な動作が現れるまで、単純なパターンを連鎖させる機能。 これは逆流ではありません。それは合成です。そして、この規模での合成は理解と区別がつきません。