He oído que a ustedes les gustan las interfaces de usuario 👀

acabo de subir mi primer entorno de RL de múltiples turnos a @PrimeIntellect la configuración: el modelo recibe el título de la historia + pregunta de QuALITY (historias largas, preguntas de opción múltiple). herramienta solo de TTS: búsqueda RAG agentic sobre la historia.

escuché que a ustedes les gustan los tuis

la perspectiva de impulsar un ecosistema de código abierto para RL es lo que definitivamente me atrajo hacia los verificadores y @PrimeIntellect

Construir entornos de RL es genial. Hacer lo mismo con verificadores/PI es casi adictivo. Se siente como un juego, jaja, acabo de construir mis primeros entornos en este ecosistema y no creo que pueda o quiera detenerme. Esta semana voy a intentar portar todos los entornos que construí este año y subirlos al hub.

los entornos de RL de código abierto podrían ser la pieza más importante para garantizar la AGI de código abierto

Confesaré que tengo una misión muy específica en mente con este proyecto. El lanzamiento de la beta privada semi-vaga es parte de ello. El conjunto de tareas que estamos buscando es parte de ello. Las recompensas por GPU son parte de ello. Los shitposts son parte de ello. Los podcasts son parte de ello. La atención es crucial aquí. Déjame explicar. Actualmente, gran parte de la discusión en torno a los entornos de RL se centra en esta nueva ola de startups cuyo modelo de negocio es construir y vender entornos a un número muy reducido de grandes laboratorios de manera exclusiva. Mechanize es el más ruidoso, pero hay varios de ellos. En lugar de gastar en muestras de ajuste de instrucciones y anotaciones, los laboratorios están ansiosos por comprar entornos privados como su próximo gran recurso consumible para el entrenamiento de modelos. Este fenómeno es tanto un riesgo serio para la perspectiva de que los modelos de código abierto sigan siendo competitivos, como una gran oportunidad para inclinar la balanza si podemos cambiar el centro de gravedad. Si los buenos entornos son todos caros y ocultos, los modelos de código abierto quedarán aún más rezagados. Esto es esencialmente lo que ha sucedido con los datos de preentrenamiento. Pero si puede surgir un ecosistema suficientemente robusto de herramientas de código abierto para entornos y entrenamiento, entonces la opción de código abierto también puede ser la más avanzada. Esto es más o menos lo que ha sucedido con Pytorch. Inclinar la balanza aquí es mi objetivo. Nuestro objetivo. Me uní a Prime Intellect porque todos eran increíblemente talentosos, estaban jodidamente serios sobre la misión de AGI de código abierto para todos y no tenían miedo de decirlo, y porque el equipo tenía una ventaja estructural singular que significaba que realmente podíamos dar algunos golpes reales. Vendemos computación. Construimos infraestructura para mejorar lo que puedes hacer con esa computación. Hacemos investigación sobre cómo hacer que esa computación interopere de nuevas maneras. Estamos entrenando modelos más grandes y mejores. Tenemos los incentivos correctos para hacer el trabajo duro y necesario. Estas piezas están todas conectadas. No podemos hacerlo solos. Nadie puede. Se necesitarán startups, empresas, estudiantes y profesores de todo el mundo. La investigación abierta actualmente no tiene las herramientas para estudiar las preguntas que los grandes laboratorios han considerado más cruciales para el progreso futuro. Tenemos que encontrar una manera de construir esas herramientas. Estamos tratando de hacer que eso sea más fácil. Todos tenemos que mejorar en trabajar juntos, en no reinventar la rueda, en ensamblar piezas individuales en rompecabezas más grandes. Tomemos lo que hemos hecho colectivamente hasta ahora, limpiémoslo, hagámoslo funcionar juntos, traigamos a más personas al grupo y comencemos a jugar juegos más positivos. Si no podemos encontrar mejores maneras de trabajar juntos, nos dirigimos hacia un futuro de IA donde colectivamente simplemente *no sabemos qué son estos modelos*, porque nunca se levanta el telón, y todo lo que realmente podemos ver es solo un juguete. Hay un tipo diferente de empresa que podrías construir en este espacio; una que aún te permita vender a los grandes laboratorios, pero no de manera exclusiva; una que aún te permita tener tus secretos comerciales y generar un buen ARR, pero que no nos haga colectivamente menos informados sobre el futuro que estamos construyendo. Browserbase. Cursor. Exa. Modal. Morph. Y muchos otros. Hagamos más de estos. Puedes construir una gran empresa creando herramientas poderosas y arneses para agentes que reflejen las tareas de alto valor que las personas quieren que los modelos realmente realicen. Tener elementos de ello que sean abiertos para probar libremente, y elementos que estén alojados detrás de una API. Cobrar por uso con algunas características premium para empresas. Construir el mejor clon de Excel en forma de LLM, o clon de Figma, o clon de TurboTax. Cambiarlo lo suficiente para evitar una demanda, y luego dejar que los clientes privados vean la versión más robusta ante demandas. Disfrutar de una competencia saludable en la arena, y encontrar formas de asociarse donde cuenta. Encuentra tu ángulo y sé tan bueno que puedas vender a todos, ya sea para RL o para uso real. Alcanzar la masa crítica y ser tan asequible que no valga la pena para nadie intentar reconstruir lo que ya has hecho. Esta es la línea de tiempo en la que espero que terminemos. Es un mundo donde los grandes laboratorios aún pueden hacerlo genial, y probablemente ofrecerán las formas más fáciles de gastar un poco más para obtener un rendimiento general mejorado. Pero también es uno donde los modelos de código abierto no están muy atrás, y todos los que se preocupan lo suficiente pueden básicamente ver lo que está sucediendo y entender cómo se entrenan realmente los modelos que usamos. Si estás pensando en iniciar o unirte a una empresa centrada en entornos de RL, te insto a que pienses en qué línea de tiempo estás apostando implícitamente, y reflexiones sobre cómo te sientes al respecto.

Confesaré que tengo una misión muy específica en mente con este proyecto. El lanzamiento de la beta privada semi-vaga es parte de ello. El conjunto de tareas que estamos buscando es parte de ello. Las recompensas por GPU son parte de ello. Los shitposts son parte de ello. Los podcasts son parte de ello. La atención es crucial aquí. Déjame explicar. Actualmente, gran parte de la discusión en torno a los entornos de RL se centra en esta nueva ola de startups cuyo modelo de negocio es construir y vender entornos a un número muy pequeño de grandes laboratorios de manera exclusiva. Mechanize es el más ruidoso, pero hay varios de ellos. En lugar de gastar en muestras de ajuste de instrucciones y anotaciones, los laboratorios están ansiosos por comprar entornos privados como su próximo gran recurso consumible para el entrenamiento de modelos. Este fenómeno es tanto un riesgo serio para la perspectiva de que los modelos de código abierto sigan siendo competitivos, como una gran oportunidad para inclinar la balanza si podemos cambiar el centro de gravedad. Si los buenos entornos son todos caros y ocultos, los modelos de código abierto quedarán aún más rezagados. Esto es esencialmente lo que ha sucedido con los datos de preentrenamiento. Pero si puede surgir un ecosistema suficientemente robusto de herramientas de código abierto para entornos y entrenamiento, entonces la opción de código abierto también puede ser la más avanzada. Esto es más o menos lo que ha sucedido con pytorch. Inclinar la balanza aquí es mi objetivo. Nuestro objetivo. Me uní a Prime Intellect porque todos eran increíblemente talentosos, estaban jodidamente serios sobre la misión de AGI de código abierto para todos y no tenían miedo de decirlo, y porque el equipo tenía una ventaja estructural singular que significaba que realmente podíamos dar algunos golpes reales. Vendemos computación. Construimos infraestructura para mejorar lo que puedes hacer con esa computación. Hacemos investigación sobre cómo hacer que esa computación interopere de nuevas maneras. Estamos entrenando modelos más grandes y mejores. Tenemos los incentivos correctos para hacer el trabajo duro y necesario. Estas piezas están todas conectadas. No podemos hacerlo solos. Nadie puede. Se necesitarán startups, empresas, estudiantes y profesores de todo el mundo. La investigación abierta actualmente no tiene las herramientas para estudiar las preguntas que los grandes laboratorios han considerado más cruciales para el progreso futuro. Tenemos que encontrar una manera de construir esas herramientas. Estamos tratando de hacer que eso sea más fácil. Todos tenemos que mejorar en trabajar juntos, en no reinventar la rueda, en ensamblar piezas individuales en rompecabezas más grandes. Tomemos lo que hemos hecho colectivamente hasta ahora, limpiémoslo, hagámoslo funcionar juntos, traigamos a más personas al grupo y comencemos a jugar juegos más positivos. Todo lo que hemos estado construyendo se trata de hacer esto más fácil. Si no podemos encontrar mejores maneras de trabajar juntos, nos dirigimos hacia un futuro de IA donde colectivamente simplemente *no sabemos qué son estos modelos*, porque nunca se levanta el telón, y todo lo que realmente podemos ver es solo un juguete. Hay un tipo diferente de empresa que podrías construir en este espacio; una que aún te permita vender a los grandes laboratorios, pero no de manera exclusiva; una que aún te permita tener tus secretos comerciales y generar un buen ARR, pero que no nos haga colectivamente menos informados sobre el futuro que estamos construyendo. Browserbase. Cursor. Exa. Modal. Morph. Y muchos otros. Hagamos más de estos. Puedes construir una gran empresa haciendo herramientas poderosas y arneses para agentes que reflejen las tareas de alto valor que las personas quieren que los modelos realmente hagan. Tener elementos de ello que sean abiertos para probar libremente, y elementos que estén alojados detrás de una API. Cobrar por uso con algunas características premium para empresas. Construir el mejor clon de Excel en forma de LLM, o clon de Figma, o clon de TurboTax. Cambiarlo lo suficiente para evitar una demanda, y luego dejar que los clientes privados vean la versión más robusta ante demandas. Disfrutar de una competencia saludable en la arena, y encontrar formas de asociarse donde cuenta. Encuentra tu ángulo y sé tan bueno que puedas vender a todos, ya sea para RL o para uso real. Alcanzar la masa crítica y ser tan asequible que no valga la pena para nadie intentar reconstruir lo que ya has hecho. Esta es la línea de tiempo en la que espero que terminemos. Es un mundo donde los grandes laboratorios aún pueden hacerlo genial, y probablemente ofrecerán las formas más fáciles de gastar un poco más para obtener un rendimiento general mejorado. Pero también es uno donde los modelos de código abierto no están muy atrás, y todos los que se preocupan lo suficiente pueden básicamente ver lo que está sucediendo y entender cómo se entrenan realmente los modelos que usamos. Si estás pensando en iniciar o unirte a una empresa centrada en entornos de RL, te insto a que pienses en qué línea de tiempo estás apostando implícitamente, y reflexiones sobre cómo te sientes al respecto.

¿Quieres contribuir este fin de semana al AGI de código abierto? Únete a nosotros para crear entornos de rl usando Menciona a @willccbb, @johannes_hage o a mí con lo que quieras construir - te enviaremos acceso anticipado al hub y una lista de recompensas para los entornos a construir.

¡Denme algunas ideas, amigos! ¿Qué tipo de tareas de RL clínicas y biomédicas siempre han querido hacer? Recuerden, muchas tareas médicas son fácilmente verificables, ¡especialmente cuando se trata de la visión!