Det globale markedet for AI-trening er faktisk ikke globalt. Himanshu Tyagi (@hstyagi), grunnlegger av @SentientAGI, om hvorfor suverene AI-byggere, ikke globale kunder, i dag er hovedkjøperne av storskala treningsløp. "Du kan ikke sitte i USA og trene i India. Det finnes regulatoriske ting rundt det — hvem som driver det, hvor det opererer.» Og det økonomiske spørsmålet: "Det er en investering på 20 millioner dollar. Du kunne hatt global avkastning hvis globale markeder hadde vært åpne. Men i dag er de ikke det." "I dagens rom er det suverene AI-byggere som er hovedkjøperne." Og mange myndigheter pålegger lokal opplæring: "Land som Korea og India tillater bare lokale skyer når de bygger sine lokale modeller. Det er for å bygge opp økosystemet deres, og det skjer raskt.»

I kjølvannet av innhentingen av 2 milliarder dollar, @MishaLaskin, administrerende direktør i @reflection_ai, om hvor selskapet er på vei videre: "Vi har kapitalisert for å få den beregningen som trengs for å forhånds- og ettertrene en amerikansk åpen modell som vi kan eksportere til resten av verden." De har også satt sammen det Laskin kaller en talentbenk fra et grenselaboratorium: "Vi har en kritisk masse av folk som ledet dette arbeidet ved Frontier Labs — pre-training modellering og data, post-training resonnement, koding, RLHF — vi har bygget opp team på tvers av hele stacken." Refleksjon er nå i fasen alle seriøse grenselaboratorier må gjennomgå: "Vi er på stigestigen, og trener metodisk modeller fra små til store, fordi ting går i stykker på nye måter på hver skala." Og Laskin trekker en skarp grense mellom pre-training og post-training: "Folk snakker om YOLO-løp i AI, men det fungerer bare etter trening. Som et av teammedlemmene våre sier: du kan ikke YOLO-fortrening, det må være ekstremt presist og metodisk.» Hvordan situasjonen står akkurat nå: "Vi går gjennom stigen nå. Vi ser spennende tidlige resultater, og vi vil lansere flotte modeller neste år.»

Desentralisert AI vil ikke se ut som vi trodde. Himanshu Tyagi (@hstyagi), grunnlegger av @SentientAGI, forklarer hvorfor desentralisert opplæring er mer realistisk enn folk antar: "Folk tror at desentralisering av trening er umulig, at man må spre det over millioner av små enheter. Men det er ikke slik det må fungere." "Jeg jobbet med føderert læring i mitt akademiske liv. Jeg pleide å tro at desentralisert læring aldri ville bli ekte. Men jeg overså et avgjørende poeng: du trenger ikke å desentralisere helt.» Den viktigste innsikten: "Klynger — ikke enheter — er enheten for desentralisering. Pods med 500 GPU-er er ikke så vanskelige å få tak i. Mange kan sette dem opp. Det er som et godt eiendomsprosjekt.» Og store aktører gjør det allerede: "Google og andre desentraliserer internt på denne måten. Den typen desentralisering er mulig.» Så hva er den virkelige barrieren? "Den vanskelige delen er ikke treningsmetoden, det er det regulatoriske og tariffmessige rammeverket rundt chipdistribusjonen i seg selv."