Дуже поширена річ, яку можна почути від Very Smart People: «LLM настільки хороші, наскільки хороші дані тренувань. Вони також можуть робити те, що бачать у тренувальному наборі». У певному сенсі це цілком вірно. Але багато в чому іншому вона дуже тупа. Найголовніше, чого людям не вистачає – це композиційний інтелект. Використання простіших слів: Ви можете об'єднати прості концепції, щоб робити складніші речі. Врахуйте: ви хочете приготувати омлет. Десь в Інтернеті (ймовірно, на Reddit) хтось дуже глибоко занурюється в те, як краще розбити яйце. Десь в Інтернеті (можливо, також на Reddit) хтось дуже глибоко занурюється в те, як приготувати омлет, припускаючи, що у вас вже є яєчне тісто. Розумна людина змогла б до біса об'єднати ці дві частинки знань, щоб зробити омлет. Це не ракетобудування. Навіть якщо не було ніяких навчальних даних про те, як приготувати чортовий омлет. А тепер уявіть це, якби не речі, які мають тисячу кроків і які поєднуються божевільним факторіальним чином. LLM можуть це зробити! Подумайте про це: маючи лише 1000 вивчених понять, ви маєте 1000! Можливі замовлення. Це більше комбінацій, ніж атомів у Всесвіті. Те, що ми називаємо «міркуванням», може бути просто композиційним інтелектом у достатньому масштабі. Здатність з'єднувати між собою прості патерни до тих пір, поки не виникне складна поведінка. Це не відрижка. Це синтез. І синтез в такому масштабі нічим не відрізняється від розуміння.