El mercado global de entrenamiento de IA no es realmente global. Himanshu Tyagi (@hstyagi), fundador de @SentientAGI, sobre por qué los constructores de IA soberana, no los clientes globales, son los principales compradores de ejecuciones de entrenamiento a gran escala hoy en día. "No puedes sentarte en EE. UU. y entrenar en India. Hay cosas regulatorias al respecto: quién lo dirige, dónde se ejecuta." Y la economía importa: "Es una inversión de 20 millones de dólares. Podrías haber tenido retornos globales si los mercados globales estuvieran abiertos. Pero hoy, no lo están." "En el espacio actual, son los constructores de IA soberana quienes son los principales compradores." Y muchos gobiernos exigen entrenamiento local: "Países como Corea e India solo permiten nubes locales cuando están construyendo sus modelos locales. Es para impulsar su ecosistema, y está sucediendo rápido."

A raíz de haber recaudado $2B, @MishaLaskin, CEO de @reflection_ai, sobre hacia dónde se dirige la empresa a continuación: "Hemos capitalizado para obtener el cómputo necesario para pre-entrenar y post-entrenar un modelo abierto americano que podamos exportar al resto del mundo." También han reunido lo que Laskin llama un banco de talento de laboratorio de frontera: "Tenemos una masa crítica de personas que lideraron este trabajo en laboratorios de frontera — modelado de pre-entrenamiento y datos, razonamiento de post-entrenamiento, codificación, RLHF — hemos formado equipos en toda la pila." Reflection ahora está en la fase que cada laboratorio de frontera serio debe atravesar: "Estamos en la escalera de escalado, entrenando metódicamente modelos de pequeños a grandes, porque en cada escala las cosas se rompen de nuevas maneras." Y Laskin traza una línea clara entre el pre-entrenamiento y el post-entrenamiento: "La gente habla de las ejecuciones YOLO en IA, pero eso solo funciona en el post-entrenamiento. Como dice uno de los miembros de nuestro equipo: no puedes YOLO en el pre-entrenamiento, tiene que ser extremadamente preciso y metódico." Dónde están las cosas en este momento: "Estamos atravesando la escalera de escalado ahora. Estamos viendo resultados tempranos emocionantes, y lanzaremos grandes modelos el próximo año."

La IA descentralizada no se verá como pensábamos. Himanshu Tyagi (@hstyagi), fundador de @SentientAGI, explica por qué el entrenamiento descentralizado es más realista de lo que la gente asume: "La gente piensa que descentralizar el entrenamiento es imposible, que tendrías que distribuirlo entre millones de pequeños dispositivos. Pero así no tiene que funcionar." "Trabajé en el aprendizaje federado en mi vida académica. Solía creer que el aprendizaje descentralizado nunca sería real. Pero me perdí un punto crucial: no tienes que descentralizar completamente." La clave es: "Los clústeres — no los dispositivos — son la unidad de descentralización. Grupos de 500 GPUs no son tan difíciles de conseguir. Muchas personas pueden montarlos. Es como un buen proyecto inmobiliario." Y los grandes jugadores ya lo hacen: "Google y otros descentralizan internamente de esta manera. Ese tipo de descentralización es posible." Entonces, ¿cuál es la verdadera barrera? "La parte difícil no es el método de entrenamiento, es el marco regulatorio y tarifario en torno a la distribución de chips en sí."