你常常聽到聰明人說“LLMs的好壞取決於訓練數據。它們也只能做訓練集中看到的事情”。 在某種程度上，這確實是對的。 但在許多其他方面，這非常愚蠢。 人們忽視的一個重要點是組合智能。 用更簡單的話說：你可以將簡單的概念串聯在一起，以完成更複雜的事情。 想想這個：你想做一個煎蛋卷。 在互聯網上的某個地方（可能是Reddit），有人深入探討如何最好地打破一個雞蛋。 在互聯網上的另一個地方（可能也是在Reddit），有人深入探討如何製作煎蛋卷，假設你已經有了蛋液。 一個聰明的人能夠把這兩條知識結合起來，做出一個煎蛋卷。 這不是火箭科學。 即使沒有任何訓練數據談論如何做一個該死的煎蛋卷。 現在想象一下，這種情況適用於有一千個步驟可以以瘋狂的階乘方式組合的事情。LLMs可以做到這一點！ 想一想：僅僅用1000個學習到的概念，你就有1000!種可能的排列。這比宇宙中的原子還要多。 我們所稱的“推理”可能只是足夠規模的組合智能。將簡單模式串聯在一起，直到複雜行為出現的能力。 這不是簡單的重複。這是綜合。而在這個規模上的綜合與理解是無法區分的。