Estamos haciendo que los robots sean más capaces que nunca en el mundo físico. 🤖 Gemini Robotics 1.5 es un sistema agentic mejorado que puede razonar mejor, planificar con anticipación, utilizar herramientas digitales como @Google Search, interactuar con humanos y mucho más. Así es como funciona 🧵

Muchas de nuestras actividades diarias requieren muchos pasos para completarse y pueden ser extremadamente desafiantes para los robots. Imagina preguntar: “¿Basado en mi ubicación, puedes clasificar estos objetos en los contenedores correctos de compostaje, reciclaje y basura?” 🗑️ El robot tiene que buscar en la web las pautas locales, observar los objetos, averiguar cómo clasificarlos y luego completar la tarea. ↓

Para abordar estas solicitudes, Gemini Robotics 1.5 puede potenciar nuevas aplicaciones agentivas con dos modelos de IA clave que trabajan juntos: 🔹Gemini Robotics-ER 1.5: Este actúa como el cerebro de alto nivel, interactuando con las personas, entendiendo su entorno, orquestando herramientas y creando un plan detallado para llevar a cabo una tarea. 🔹Gemini Robotics 1.5: Este es responsable de la ejecución, traduciendo instrucciones en comandos motores precisos necesarios para que el robot se mueva y actúe de manera general.

Gemini Robotics-ER 1.5 es el primer modelo de pensamiento optimizado para el razonamiento incorporado, y logra un rendimiento de vanguardia en benchmarks académicos e internos. 🧠 Su comprensión del mundo real lo convierte en un perfecto orquestador de alto nivel para robots. Mira cómo organiza un escritorio ocupado ↓

Tradicionalmente, los modelos VLA traducen instrucciones directamente en movimiento robótico. 🦾 Gemini Robotics 1.5 ahora puede pensar antes de actuar, generando una secuencia interna de razonamiento utilizando lenguaje natural. Esto hace que las acciones del robot sean más interpretables y desbloquea tareas más útiles, como organizar la ropa por color. ↓

¿Qué pasa cuando le dices al robot que "haga una maleta para mi viaje a Londres"? 🧳 Puede consultar el clima, pensar en qué empacar, dónde conseguirlo y cómo empacarlo. En este proceso, el modelo puede descomponer tareas largas en tareas más simples y ser adaptable a los cambios en su entorno. ↓

Los robots vienen en todas las formas y tamaños, con diferentes formas, sensores y grados de libertad. 💡 Gemini Robotics 1.5 puede aprender a través de diversas encarnaciones y puede transferir el conocimiento adquirido de un robot a otro sin necesidad de especializarse.

Ahora estamos avanzando más allá de modelos que reaccionan a instrucciones individuales y creando sistemas que pueden abordar problemas de manera general, en el camino hacia la resolución de la AGI en el mundo físico. Los desarrolladores ahora pueden usar Gemini Robotics-ER 1.5 a través de la API de Gemini en @GoogleAIStudio. Descubre más →