Глобальний ринок навчання ШІ насправді не є глобальним. Хіманшу Тягі (@hstyagi), засновник @SentientAGI, пояснює, чому суверенні будівельники ШІ, а не глобальні клієнти, сьогодні є основними покупцями масштабних тренувальних загонів. "Ви не можете сидіти в США і тренуватися в Індії. Навколо цього є регуляторні речі — хто керує нею, де вона працює.» І економіка має значення: "Це інвестиція у 20 мільйонів доларів. Можна було б отримати глобальний прибуток, якби глобальні ринки були відкриті. Але сьогодні — ні.» "У нинішньому просторі основними покупцями є суверенні будівельники штучного інтелекту." І багато урядів зобов'язують місцеве навчання: «Країни, як Корея та Індія, дозволяють локальні хмари лише під час створення локальних моделей. Це для власного розвитку їхньої екосистеми, і це відбувається дуже швидко.»

Після залучення $2 млрд @MishaLaskin, генеральний директор @reflection_ai, розповів про подальший шлях компанії: «Ми застосували капітал, щоб отримати обчислювальні ресурси, необхідні для попереднього та післятреннього навчання американської відкритої моделі, яку ми можемо експортувати у решту світу.» Вони також сформували те, що Ласкін називає лабораторною лабораторією талантів: «У нас є критична маса людей, які очолювали цю роботу в лабораторіях фронтиру — моделювання та дані до навчання, мислення після навчання, кодування, RLHF — ми сформували команди по всьому стеку.» Рефлексія зараз на етапі, через який має пройти кожна серйозна лабораторія фронтиру: "Ми на драбині масштабування, методично навчаємо моделі від малих до великих, бо на кожному масштабі все ламається по-новому." І Ласкін чітко розмежовує попереднє та післятренування: "Люди говорять про YOLO запуски в ШІ, але це працює лише після тренування. Як каже один із членів нашої команди: ти не можеш пройти попереднє навчання YOLO, воно має бути надзвичайно точним і методичним.» Де зараз ситуація: "Ми зараз проходимо сходи для підняття. Ми бачимо захопливі ранні результати, і наступного року випустимо чудові моделі.»

Децентралізований ШІ не виглядатиме так, як ми думали. Хіманшу Тягі (@hstyagi), засновник @SentientAGI, пояснює, чому децентралізоване навчання є більш реалістичним, ніж люди думають: "Люди думають, що децентралізувати навчання неможливо, що його доведеться розподіляти на мільйони маленьких пристроїв. Але це не повинно працювати так." «Я працював над федеративним навчанням у своєму академічному житті. Раніше я вірив, що децентралізоване навчання ніколи не буде реальним. Але я пропустив важливий момент: не обов'язково повністю децентралізуватися.» Головний висновок: «Кластери — а не пристрої — є одиницею децентралізації. Поди по 500 відеокарт не так вже й складно знайти. Багато людей можуть їх повісити. Це як хороший проєкт нерухомості.» І великі гравці вже це роблять: "Google та інші децентралізуються внутрішньо таким чином. Така децентралізація можлива.» То в чому ж справжній бар'єр? "Складність не в методі навчання, а в регуляторній та тарифній системі щодо самого розподілу чипів."