Den globala AI-träningsmarknaden är faktiskt inte global. Himanshu Tyagi (@hstyagi), grundare av @SentientAGI, om varför suveräna AI-byggare, inte globala kunder, idag är de främsta köparna av storskaliga träningsrundor. "Du kan inte sitta i USA och träna i Indien. Det finns regleringsåtgärder kring det – vem som driver det, var det drivs." Och ekonomin är viktig: "Det är en investering på 20 miljoner dollar. Du kunde ha haft global avkastning om globala marknader varit öppna. Men idag är de inte det." "I det nuvarande läget är det suveräna AI-byggare som är de största köparna." Och många regeringar kräver lokal utbildning: "Länder som Korea och Indien tillåter bara lokala moln när de bygger sina lokala modeller. Det är för att bootstrappa deras ekosystem, och det sker snabbt."

I kölvattnet av insamlingen på 2 miljarder dollar berättar @MishaLaskin, VD för @reflection_ai, vart företaget är på väg härnäst: "Vi har kapitaliserat för att få den beräkning som krävs för att förträna och efterträna en amerikansk öppen modell som vi kan exportera till resten av världen." De har också satt ihop det som Laskin kallar en talangbänk i ett gränsområde: "Vi har en kritisk massa av personer som lett detta arbete på Frontier Labs — förträningsmodellering och data, efterträningsresonemang, kodning, RLHF — vi har byggt upp team över hela stacken." Reflection är nu i den fas som varje seriöst frontier-labb måste genomgå: "Vi är på skalestegen och tränar metodiskt modeller från små till stora, för på varje skala går saker sönder på nya sätt." Och Laskin drar en skarp gräns mellan förträning och efterträning: "Folk pratar om YOLO-körningar i AI, men det fungerar bara efter träning. Som en av våra teammedlemmar säger: du kan inte YOLO-förträning, det måste vara extremt precist och metodiskt." Hur det står just nu: "Vi går igenom klättringsstegen nu. Vi ser spännande tidiga resultat och vi kommer att släppa fantastiska modeller nästa år."

Decentraliserad AI kommer inte att se ut som vi trodde. Himanshu Tyagi (@hstyagi), grundare av @SentientAGI, förklarar varför decentraliserad utbildning är mer realistisk än vad folk tror: "Folk tror att decentralisering av träning är omöjligt, att man skulle behöva sprida den över miljontals små enheter. Men så behöver det inte fungera." "Jag arbetade med federerat lärande i mitt akademiska liv. Jag brukade tro att decentraliserat lärande aldrig skulle bli verkligt. Men jag missade en avgörande poäng: du behöver inte decentralisera helt." Den viktigaste insikten: "Kluster — inte enheter — är enheten för decentralisering. Pods med 500 GPU:er är inte så svåra att få tag på. Många kan sätta upp dem. Det är som ett bra fastighetsprojekt." Och stora aktörer gör det redan: "Google och andra decentraliserar internt på det här sättet. Den typen av decentralisering är möjlig." Så vad är det verkliga hindret? "Det svåra är inte träningsmetoden, utan reglerings- och tarifframverket kring chipdistributionen i sig."