De wereldwijde AI-trainingsmarkt is eigenlijk niet wereldwijd. Himanshu Tyagi (@hstyagi), oprichter van @SentientAGI, over waarom soevereine AI-bouwers, en niet wereldwijde klanten, de belangrijkste kopers zijn van grootschalige trainingsruns vandaag de dag. "Je kunt niet in de VS zitten en in India trainen. Er zijn regelgevende zaken om rekening mee te houden — wie het runt, waar het draait." En de economieën zijn belangrijk: "Het is een investering van 20 miljoen dollar. Je had wereldwijde rendementen kunnen hebben als de wereldmarkten open waren. Maar vandaag de dag zijn ze dat niet." "In de huidige ruimte zijn het soevereine AI-bouwers die de belangrijkste kopers zijn." En veel overheden verplichten lokale training: "Land zoals Korea en India staan alleen lokale clouds toe wanneer ze hun lokale modellen bouwen. Het is om hun ecosysteem op te starten, en het gebeurt snel."

Naar aanleiding van het ophalen van $2B, @MishaLaskin, CEO van @reflection_ai, over waar het bedrijf naartoe gaat: "We hebben kapitaal aangetrokken om de rekenkracht te krijgen die nodig is om een Amerikaans open model voor te trainen en na te trainen dat we naar de rest van de wereld kunnen exporteren." Ze hebben ook wat Laskin een frontier-lab talentbench noemt samengesteld: "We hebben een kritische massa van mensen die dit werk hebben geleid bij frontier labs — pre-training modellering en data, post-training redenering, codering, RLHF — we hebben teams opgebouwd over de hele stack." Reflection bevindt zich nu in de fase die elk serieus frontier lab moet doorlopen: "We zijn op de schaalladder, methodisch modellen aan het trainen van klein naar groot, omdat dingen op elke schaal op nieuwe manieren kapot gaan." En Laskin trekt een scherpe lijn tussen pre-training en post-training: "Mensen praten over YOLO-runs in AI, maar dat werkt alleen in post-training. Zoals een van onze teamleden zegt: je kunt niet YOLO pre-training, het moet extreem precies en methodisch zijn." Waar we nu staan: "We gaan nu door de schaalladder. We zien spannende vroege resultaten, en we zullen volgend jaar geweldige modellen uitbrengen."

Gedecentraliseerde AI zal er niet uitzien zoals we dachten. Himanshu Tyagi (@hstyagi), oprichter van @SentientAGI, legt uit waarom gedecentraliseerde training realistischer is dan mensen aannemen: "Mensen denken dat gedecentraliseerde training onmogelijk is, dat je het over miljoenen kleine apparaten moet verspreiden. Maar zo hoeft het niet te werken." "Ik heb aan gefedereerd leren gewerkt in mijn academische leven. Ik geloofde vroeger dat gedecentraliseerd leren nooit echt zou zijn. Maar ik miste een cruciaal punt: je hoeft niet helemaal te decentraliseren." De belangrijkste inzicht: "Clusters — niet apparaten — zijn de eenheid van decentralisatie. Pods van 500 GPU's zijn niet zo moeilijk te krijgen. Veel mensen kunnen ze opzetten. Het is als een goed vastgoedproject." En grote spelers doen het al: "Google en anderen decentraliseren intern op deze manier. Die soort decentralisatie is mogelijk." Dus wat is de echte barrière? "Het moeilijke is niet de trainingsmethode, het is het regelgevende en tariefkader rond de distributie van chips zelf."