We maken robots capabeler dan ooit in de fysieke wereld. 🤖 Gemini Robotics 1.5 is een verbeterd agentisch systeem dat beter kan redeneren, vooruit kan plannen, digitale tools zoals @Google Search kan gebruiken, met mensen kan interageren en nog veel meer. Zo werkt het 🧵

Veel van onze dagelijkse activiteiten vereisen veel stappen om te voltooien en kunnen extreem uitdagend zijn voor robots. Stel je voor dat je vraagt: "Op basis van mijn locatie, kun je deze objecten sorteren in de juiste compost-, recycling- en afvalbakken?" 🗑️ De robot moet het web doorzoeken naar lokale richtlijnen, naar de objecten kijken, uitzoeken hoe ze gesorteerd moeten worden en vervolgens de taak voltooien. ↓

Om deze verzoeken aan te pakken, kan Gemini Robotics 1.5 nieuwe agentische toepassingen aandrijven met twee belangrijke AI-modellen die samenwerken: 🔹Gemini Robotics-ER 1.5: Dit fungeert als de hoog-niveau hersenen, interactie met mensen, begrijpt zijn omgeving, orkestreert tools en creëert een gedetailleerd plan om een taak uit te voeren. 🔹Gemini Robotics 1.5: Dit is verantwoordelijk voor de uitvoering, vertaalt instructies in nauwkeurige motorcommando's die nodig zijn voor de robot om te bewegen en te handelen op een algemene manier.

Gemini Robotics-ER 1.5 is het eerste denkmodel dat geoptimaliseerd is voor belichaamde redenering en behaalt state-of-the-art prestaties op academische en interne benchmarks. 🧠 Het begrip van de echte wereld maakt het een perfecte high-level orchestrator voor robots. Kijk hoe het een druk bureau organiseert ↓

Traditioneel vertalen VLA-modellen instructies direct naar robotbeweging. 🦾 Gemini Robotics 1.5 kan nu nadenken voordat het actie onderneemt, door een interne redeneervolgorde te genereren met behulp van natuurlijke taal. Dit maakt de robotacties beter interpreteerbaar en ontgrendelt nuttigere taken - zoals het organiseren van de was op kleur. ↓

Wat gebeurt er als je de robot zegt om "een koffer in te pakken voor mijn reis naar Londen"? 🧳 Het kan het weer opzoeken, nadenken over wat in te pakken, waar het te krijgen, en hoe het in te pakken. In dit proces kan het model lange taken opdelen in eenvoudigere taken en zich aanpassen aan veranderingen in zijn omgeving. ↓

Robots komen in alle vormen en maten, met verschillende vormen, sensoren en vrijheidsgraden. 💡 Gemini Robotics 1.5 kan leren van verschillende belichamingen en kan kennis die van de ene robot is geleerd, overdragen naar een andere zonder dat het nodig is om te specialiseren.

We gaan nu verder dan modellen die reageren op enkele instructies en creëren systemen die problemen op een algemene manier kunnen aanpakken - op weg naar het oplossen van AGI in de fysieke wereld. Ontwikkelaars kunnen nu Gemini Robotics-ER 1.5 gebruiken via de Gemini API in @GoogleAIStudio. Ontdek meer →