Der globale Markt für KI-Training ist eigentlich nicht global. Himanshu Tyagi (@hstyagi), Gründer von @SentientAGI, erklärt, warum souveräne KI-Entwickler, nicht globale Kunden, die Hauptkäufer von großangelegten Trainingsläufen sind. „Man kann nicht in den USA sitzen und in Indien trainieren. Es gibt regulatorische Dinge, die dabei eine Rolle spielen – wer es betreibt, wo es betrieben wird.“ Und die Wirtschaftlichkeit ist wichtig: „Es ist eine Investition von 20 Millionen Dollar. Man hätte globale Renditen erzielen können, wenn die globalen Märkte offen wären. Aber das sind sie heute nicht.“ „Im aktuellen Bereich sind es die souveränen KI-Entwickler, die die Hauptkäufer sind.“ Und viele Regierungen verlangen lokales Training: „Länder wie Korea und Indien erlauben nur lokale Clouds, wenn sie ihre lokalen Modelle erstellen. Es dient dazu, ihr Ökosystem zu fördern, und es geschieht schnell.“

Nach der Beschaffung von 2 Milliarden Dollar äußert sich @MishaLaskin, CEO von @reflection_ai, dazu, wohin das Unternehmen als Nächstes steuert: „Wir haben Kapital beschafft, um die Rechenleistung zu erhalten, die erforderlich ist, um ein amerikanisches Open-Model vorzutrainieren und nachzutrainieren, das wir in den Rest der Welt exportieren können.“ Sie haben auch das, was Laskin als Talentbank für Grenzlabore bezeichnet, zusammengestellt: „Wir haben eine kritische Masse von Menschen, die diese Arbeit in Grenzlabors geleitet haben – Vortraining von Modellen und Daten, Nachtraining von Schlussfolgerungen, Codierung, RLHF – wir haben Teams über den gesamten Stack aufgebaut.“ Reflection befindet sich jetzt in der Phase, die jedes ernsthafte Grenzlabor durchlaufen muss: „Wir sind auf der Skalierungsleiter, trainieren methodisch Modelle von klein auf groß, denn in jeder Skalierung brechen die Dinge auf neue Weise.“ Und Laskin zieht eine klare Linie zwischen Vortraining und Nachtraining: „Die Leute sprechen von YOLO-Läufen in der KI, aber das funktioniert nur im Nachtraining. Wie einer unserer Teammitglieder sagt: Man kann das Vortraining nicht YOLOn, es muss extrem präzise und methodisch sein.“ Wo wir jetzt stehen: „Wir gehen jetzt die Skalierungsleiter hinauf. Wir sehen aufregende frühe Ergebnisse und werden nächstes Jahr großartige Modelle veröffentlichen.“

Dezentralisierte KI wird nicht so aussehen, wie wir dachten. Himanshu Tyagi (@hstyagi), Gründer von @SentientAGI, erklärt, warum dezentrales Training realistischer ist, als die Leute annehmen: „Die Leute denken, dass dezentrales Training unmöglich ist, dass man es über Millionen von kleinen Geräten verteilen müsste. Aber so muss es nicht funktionieren.“ „Ich habe in meinem akademischen Leben an föderiertem Lernen gearbeitet. Ich glaubte früher, dass dezentrales Lernen niemals real werden würde. Aber ich habe einen entscheidenden Punkt übersehen: Man muss nicht bis zur letzten Konsequenz dezentralisieren.“ Die entscheidende Erkenntnis: „Cluster — nicht Geräte — sind die Einheit der Dezentralisierung. Pods mit 500 GPUs sind nicht so schwer zu bekommen. Viele Leute können sie aufstellen. Es ist wie ein gutes Immobilienprojekt.“ Und große Akteure tun es bereits: „Google und andere dezentralisieren intern auf diese Weise. Diese Art der Dezentralisierung ist möglich.“ Was ist also die echte Hürde? „Der schwierige Teil ist nicht die Trainingsmethode, sondern der regulatorische und tarifliche Rahmen für die Verteilung von Chips selbst.“