Globalny rynek szkolenia AI nie jest tak naprawdę globalny. Himanshu Tyagi (@hstyagi), założyciel @SentientAGI, wyjaśnia, dlaczego suwereni budowniczy AI, a nie globalni klienci, są głównymi nabywcami dużych sesji szkoleniowych dzisiaj. „Nie możesz siedzieć w USA i szkolić w Indiach. Są regulacyjne kwestie związane z tym — kto to prowadzi, gdzie to się odbywa.” A ekonomia ma znaczenie: „To inwestycja w wysokości 20 milionów dolarów. Mogłeś mieć globalne zyski, gdyby globalne rynki były otwarte. Ale dzisiaj nie są.” „W obecnej przestrzeni to suwereni budowniczy AI są głównymi nabywcami.” A wiele rządów nakłada obowiązek lokalnego szkolenia: „Kraje takie jak Korea i Indie pozwalają tylko na lokalne chmury, gdy budują swoje lokalne modele. To ma na celu wsparcie ich ekosystemu, a dzieje się to szybko.”

Na fali pozyskania 2 miliardów dolarów, @MishaLaskin, CEO @reflection_ai, o tym, dokąd zmierza firma: „Zainwestowaliśmy, aby uzyskać moc obliczeniową potrzebną do wstępnego i końcowego trenowania amerykańskiego otwartego modelu, który możemy eksportować do reszty świata.” Zgromadzili również to, co Laskin nazywa talentem w laboratoriach granicznych: „Mamy krytyczną masę ludzi, którzy prowadzili tę pracę w laboratoriach granicznych — wstępne modelowanie i dane, końcowe rozumowanie, kodowanie, RLHF — zbudowaliśmy zespoły w całym stosie.” Reflection jest teraz w fazie, przez którą musi przejść każde poważne laboratorium graniczne: „Jesteśmy na drabinie skalowania, metodycznie trenując modele od małych do dużych, ponieważ na każdym etapie rzeczy psują się w nowy sposób.” A Laskin wyraźnie oddziela wstępne trenowanie od końcowego trenowania: „Ludzie mówią o biegach YOLO w AI, ale to działa tylko w końcowym trenowaniu. Jak mówi jeden z naszych członków zespołu: nie można YOLO w wstępnym trenowaniu, musi być to niezwykle precyzyjne i metodyczne.” Gdzie obecnie stoimy: „Przechodzimy teraz przez drabinę skalowania. Widzimy ekscytujące wczesne wyniki i w przyszłym roku wydamy świetne modele.”

Zdecentralizowana AI nie będzie wyglądać tak, jak myśleliśmy. Himanshu Tyagi (@hstyagi), założyciel @SentientAGI, wyjaśnia, dlaczego zdecentralizowane szkolenie jest bardziej realistyczne, niż ludzie zakładają: „Ludzie myślą, że zdecentralizowanie szkolenia jest niemożliwe, że trzeba by je rozprzestrzenić na miliony małych urządzeń. Ale tak to nie musi działać.” „Pracowałem nad uczeniem federacyjnym w moim życiu akademickim. Kiedyś wierzyłem, że zdecentralizowane uczenie nigdy nie będzie realne. Ale przeoczyłem kluczowy punkt: nie musisz decentralizować wszystkiego do końca.” Kluczowa spostrzeżenie: „Klastry — a nie urządzenia — są jednostką decentralizacji. Grupy 500 GPU nie są takie trudne do zdobycia. Wiele osób może je zorganizować. To jak dobry projekt nieruchomości.” A wielcy gracze już to robią: „Google i inni decentralizują wewnętrznie w ten sposób. Taki rodzaj decentralizacji jest możliwy.” Więc co jest prawdziwą przeszkodą? „Trudna część nie dotyczy metody szkolenia, lecz ram regulacyjnych i taryfowych dotyczących samej dystrybucji chipów.”