Le marché mondial de la formation en IA n'est en fait pas mondial. Himanshu Tyagi (@hstyagi), fondateur de @SentientAGI, explique pourquoi les constructeurs d'IA souverains, et non les clients mondiaux, sont les principaux acheteurs de sessions de formation à grande échelle aujourd'hui. "Vous ne pouvez pas être assis aux États-Unis et vous former en Inde. Il y a des réglementations à ce sujet — qui le gère, où cela se déroule." Et l'économie compte : "C'est un investissement de 20 millions de dollars. Vous auriez pu avoir des retours mondiaux si les marchés mondiaux étaient ouverts. Mais aujourd'hui, ce n'est pas le cas." "Dans l'espace actuel, ce sont les constructeurs d'IA souverains qui sont les principaux acheteurs." Et de nombreux gouvernements imposent une formation locale : "Des pays comme la Corée et l'Inde n'autorisent que des clouds locaux lorsqu'ils construisent leurs modèles locaux. C'est pour faire décoller leur écosystème, et cela se produit rapidement."

À la suite d'une levée de fonds de 2 milliards de dollars, @MishaLaskin, PDG de @reflection_ai, sur la direction que prend l'entreprise : "Nous avons capitalisé pour obtenir la puissance de calcul nécessaire pour pré-entraîner et post-entraîner un modèle ouvert américain que nous pouvons exporter dans le reste du monde." Ils ont également constitué ce que Laskin appelle un banc de talents de laboratoire de pointe : "Nous avons une masse critique de personnes qui ont dirigé ce travail dans des laboratoires de pointe — modélisation de pré-entraînement et données, raisonnement post-entraînement, codage, RLHF — nous avons constitué des équipes à travers toute la pile." Reflection est maintenant dans la phase que chaque laboratoire de pointe sérieux doit traverser : "Nous sommes sur l'échelle de mise à l'échelle, formant méthodiquement des modèles de petits à grands, car à chaque échelle, les choses se cassent de nouvelles manières." Et Laskin trace une ligne nette entre le pré-entraînement et le post-entraînement : "Les gens parlent des courses YOLO en IA, mais cela ne fonctionne qu'en post-entraînement. Comme le dit l'un de nos membres d'équipe : vous ne pouvez pas YOLO le pré-entraînement, cela doit être extrêmement précis et méthodique." Où en sont les choses en ce moment : "Nous passons par l'échelle de mise à l'échelle maintenant. Nous voyons des résultats préliminaires passionnants, et nous allons sortir de superbes modèles l'année prochaine."

L'IA décentralisée ne ressemblera pas à ce que nous pensions. Himanshu Tyagi (@hstyagi), fondateur de @SentientAGI, explique pourquoi l'entraînement décentralisé est plus réaliste que ce que les gens supposent : "Les gens pensent que décentraliser l'entraînement est impossible, qu'il faudrait le répartir sur des millions de petits appareils. Mais ce n'est pas comme ça que cela doit fonctionner." "J'ai travaillé sur l'apprentissage fédéré dans ma vie académique. Je croyais que l'apprentissage décentralisé ne deviendrait jamais réel. Mais j'ai manqué un point crucial : vous n'avez pas à décentraliser complètement." L'idée clé : "Les clusters — pas les appareils — sont l'unité de décentralisation. Des pods de 500 GPU ne sont pas si difficiles à obtenir. Beaucoup de gens peuvent les mettre en place. C'est comme un bon projet immobilier." Et les grands acteurs le font déjà : "Google et d'autres décentralisent en interne de cette manière. Ce type de décentralisation est possible." Alors, quel est le véritable obstacle ? "La partie difficile n'est pas la méthode d'entraînement, c'est le cadre réglementaire et tarifaire autour de la distribution des puces elle-même."