Глобальный рынок обучения ИИ на самом деле не является глобальным. Химаншу Тяги (@hstyagi), основатель @SentientAGI, о том, почему суверенные разработчики ИИ, а не глобальные клиенты, являются основными покупателями крупных обучающих программ сегодня. "Вы не можете сидеть в США и обучаться в Индии. Существуют регуляторные моменты — кто это управляет, где это происходит." И экономика имеет значение: "Это инвестиция в 20 миллионов долларов. Вы могли бы получить глобальную прибыль, если бы глобальные рынки были открыты. Но сегодня они не открыты." "В текущем пространстве основными покупателями являются суверенные разработчики ИИ." И многие правительства требуют локального обучения: "Страны, такие как Корея и Индия, разрешают использовать только локальные облака, когда они создают свои локальные модели. Это необходимо для развития их экосистемы, и это происходит быстро."

На фоне привлечения $2B, @MishaLaskin, CEO @reflection_ai, о том, куда движется компания дальше: "Мы привлекли капитал, чтобы получить вычислительные мощности, необходимые для предварительного и последующего обучения американской открытой модели, которую мы можем экспортировать в остальной мир." Они также собрали то, что Ласкин называет командой талантов пограничной лаборатории: "У нас есть критическая масса людей, которые возглавляли эту работу в пограничных лабораториях — предварительное моделирование и данные, последующее обучение, кодирование, RLHF — мы создали команды по всей цепочке." Reflection сейчас находится на этапе, через который должна пройти каждая серьезная пограничная лаборатория: "Мы на лестнице масштабирования, методично обучая модели от малых к большим, потому что на каждом уровне что-то ломается новыми способами." И Ласкин проводит четкую грань между предварительным и последующим обучением: "Люди говорят о YOLO-работах в AI, но это работает только в последующем обучении. Как говорит один из наших членов команды: вы не можете YOLO в предварительном обучении, это должно быть крайне точным и методичным." Где мы находимся сейчас: "Мы сейчас проходим по лестнице масштабирования. Мы видим захватывающие ранние результаты, и мы выпустим отличные модели в следующем году."

Децентрализованный ИИ не будет выглядеть так, как мы думали. Химаншу Тяги (@hstyagi), основатель @SentientAGI, объясняет, почему децентрализованное обучение более реалистично, чем люди предполагают: "Люди думают, что децентрализовать обучение невозможно, что его нужно распределить по миллионам крошечных устройств. Но это не так, как это должно работать." "Я работал над федеративным обучением в своей академической жизни. Я раньше верил, что децентрализованное обучение никогда не станет реальностью. Но я упустил важный момент: вам не нужно децентрализовать всё до конца." Ключевое понимание: "Кластеры — а не устройства — являются единицей децентрализации. Группы из 500 GPU не так уж сложно получить. Многие люди могут их установить. Это как хороший проект в сфере недвижимости." И крупные игроки уже это делают: "Google и другие децентрализуют внутренне таким образом. Такой вид децентрализации возможен." Так в чем же настоящая преграда? "Сложная часть не в методе обучения, а в регуляторной и тарифной структуре вокруг распределения чипов."