你常常听到聪明人说“LLMs的好坏取决于训练数据。它们也只能做训练集中看到的事情”。 在某种程度上，这确实是对的。 但在许多其他方面，这非常愚蠢。 人们忽视的一个重要点是组合智能。 用更简单的话说：你可以将简单的概念串联在一起，以完成更复杂的事情。 想想这个：你想做一个煎蛋卷。 在互联网上的某个地方（可能是Reddit），有人深入探讨如何最好地打破一个鸡蛋。 在互联网上的另一个地方（可能也是在Reddit），有人深入探讨如何制作煎蛋卷，假设你已经有了蛋液。 一个聪明的人能够把这两条知识结合起来，做出一个煎蛋卷。 这不是火箭科学。 即使没有任何训练数据谈论如何做一个该死的煎蛋卷。 现在想象一下，这种情况适用于有一千个步骤可以以疯狂的阶乘方式组合的事情。LLMs可以做到这一点！ 想一想：仅仅用1000个学习到的概念，你就有1000!种可能的排列。这比宇宙中的原子还要多。 我们所称的“推理”可能只是足够规模的组合智能。将简单模式串联在一起，直到复杂行为出现的能力。 这不是简单的重复。这是综合。而在这个规模上的综合与理解是无法区分的。