Очень распространенная вещь, которую вы слышите от Очень Умных Людей, это "LLM хороши только настолько, насколько хороши данные для обучения. Они также могут делать вещи, которые они видят в наборе данных для обучения". В некотором смысле это довольно верно. Но во многих других смыслах это очень глупо. Главное, что люди упускают, это композиционный интеллект. Говоря проще: вы можете соединять простые концепции, чтобы делать более сложные вещи. Подумайте об этом: вы хотите сделать омлет. Где-то в Интернете (вероятно, на Reddit) кто-то очень подробно объясняет, как лучше разбить яйцо. Где-то еще в Интернете (вероятно, тоже на Reddit) кто-то очень подробно объясняет, как сделать омлет, предполагая, что у вас уже есть яичная смесь. Умный человек смог бы чертовски объединить эти два куска знаний, чтобы сделать омлет. Это не ракетная наука. Даже если не было данных для обучения, говорящих о том, как сделать чертов омлет. Теперь представьте это, но для вещей, которые имеют тысячу шагов, которые могут быть объединены в безумные факториальные способы. LLM могут это сделать! Подумайте об этом: с всего лишь 1000 изученных концепций у вас есть 1000! возможных порядков. Это больше комбинаций, чем атомов во Вселенной. То, что мы называем "рассуждением", может быть просто композиционным интеллектом на достаточном уровне. Способность соединять простые паттерны, пока не возникает сложное поведение. Это не регургитация. Это синтез. И синтез на этом уровне неотличим от понимания.