Il mercato globale della formazione AI non è realmente globale. Himanshu Tyagi (@hstyagi), fondatore di @SentientAGI, spiega perché i costruttori di AI sovrani, non i clienti globali, sono i principali acquirenti di corsi di formazione su larga scala oggi. "Non puoi sederti negli Stati Uniti e formare in India. Ci sono questioni normative al riguardo — chi lo gestisce, dove viene eseguito." E l'economia conta: "È un investimento di 20 milioni di dollari. Avresti potuto avere ritorni globali se i mercati globali fossero stati aperti. Ma oggi, non lo sono." "Nello spazio attuale, sono i costruttori di AI sovrani i principali acquirenti." E molti governi impongono la formazione locale: "Paesi come la Corea e l'India consentono solo cloud locali quando costruiscono i loro modelli locali. Serve a dare slancio al loro ecosistema, e sta accadendo rapidamente."

Sulle orme di un finanziamento di 2 miliardi di dollari, @MishaLaskin, CEO di @reflection_ai, su dove sta andando l'azienda: "Ci siamo capitalizzati per ottenere la potenza di calcolo necessaria per pre-addestrare e post-addestrare un modello open americano che possiamo esportare nel resto del mondo." Hanno anche assemblato quella che Laskin definisce una panchina di talenti da laboratorio di frontiera: "Abbiamo una massa critica di persone che hanno guidato questo lavoro nei laboratori di frontiera — pre-addestramento di modelli e dati, ragionamento post-addestramento, codifica, RLHF — abbiamo costruito team in tutta la stack." Reflection è ora nella fase che ogni serio laboratorio di frontiera deve attraversare: "Siamo sulla scala di crescita, addestrando metodicamente modelli da piccoli a grandi, perché a ogni scala le cose si rompono in modi nuovi." E Laskin traccia una linea netta tra pre-addestramento e post-addestramento: "La gente parla di corse YOLO nell'AI, ma questo funziona solo nel post-addestramento. Come dice uno dei membri del nostro team: non puoi YOLO nel pre-addestramento, deve essere estremamente preciso e metodico." Dove siamo ora: "Stiamo attraversando ora la scala di crescita. Stiamo vedendo risultati iniziali entusiasmanti e rilasceremo modelli fantastici l'anno prossimo."

L'AI decentralizzata non sarà come pensavamo. Himanshu Tyagi (@hstyagi), fondatore di @SentientAGI, spiega perché l'addestramento decentralizzato è più realistico di quanto le persone assumano: "Le persone pensano che decentralizzare l'addestramento sia impossibile, che bisognerebbe distribuirlo su milioni di piccoli dispositivi. Ma non è così che deve funzionare." "Ho lavorato sull'apprendimento federato nella mia vita accademica. Credevo che l'apprendimento decentralizzato non sarebbe mai stato reale. Ma mi sono perso un punto cruciale: non è necessario decentralizzare completamente." L'intuizione chiave: "I cluster — non i dispositivi — sono l'unità di decentralizzazione. I pod di 500 GPU non sono così difficili da ottenere. Molte persone possono metterli in piedi. È come un buon progetto immobiliare." E i grandi attori già lo fanno: "Google e altri decentralizzano internamente in questo modo. Quel tipo di decentralizzazione è possibile." Quindi qual è il vero ostacolo? "La parte difficile non è il metodo di addestramento, ma il quadro normativo e tariffario attorno alla distribuzione dei chip."