Vi gör robotar mer kapabla än någonsin i den fysiska världen. 🤖 Gemini Robotics 1.5 är ett nivåhöjt agentiskt system som kan resonera bättre, planera i förväg, använda digitala verktyg som @Google Search, interagera med människor och mycket mer. Så här går det till 🧵

Många av våra dagliga aktiviteter tar många steg att slutföra och kan vara extremt utmanande för robotar. Föreställ dig att du frågar: "Kan ni sortera de här föremålen i rätt kompost, återvinning och soptunnor, baserat på var jag befinner mig?" 🗑️ Roboten måste söka på nätet efter lokala riktlinjer, titta på objekten, ta reda på hur de ska sorteras och sedan slutföra uppgiften. ↓

För att hantera dessa förfrågningar kan Gemini Robotics 1.5 driva nya agentapplikationer med två viktiga AI-modeller som arbetar tillsammans: 🔹Gemini Robotics-ER 1.5: Detta fungerar som hjärnan på hög nivå, interagerar med människor, förstår sin omgivning, orkestrerar verktyg och skapar en detaljerad plan för att utföra en uppgift. 🔹Gemini Robotics 1.5: Detta ansvarar för utförandet och översätter instruktioner till exakta motorkommandon som behövs för att roboten ska röra sig och agera på ett allmänt sätt.

Gemini Robotics-ER 1.5 är den första tankemodellen som är optimerad för förkroppsligat resonemang och uppnår toppmodern prestanda på akademiska och interna riktmärken. 🧠 Dess förståelse för den verkliga världen gör den till en perfekt orkestrerare på hög nivå för robotar. Se hur den hanterar att organisera ett upptaget skrivbord ↓

Traditionellt översätter VLA-modeller instruktioner direkt till robotrörelser. 🦾 Gemini Robotics 1.5 kan nu tänka innan den vidtar åtgärder och generera en intern sekvens av resonemang med hjälp av naturligt språk. Detta gör robotens handlingar mer tolkningsbara och låser upp mer användbara uppgifter - som att organisera tvätt efter färg. ↓

Vad händer när du säger åt roboten att "packa en resväska för min resa till London"? 🧳 Den kan kolla upp vädret, fundera på vad den ska packa, var den ska hämtas och hur den ska packas. I denna process kan modellen bryta ner långa uppgifter till enklare och vara anpassningsbar till förändringar i sin miljö. ↓

Robotar finns i alla former och storlekar, med olika former, avkänningar och frihetsgrader. 💡 Gemini Robotics 1.5 kan lära sig i olika utföranden och kan överföra kunskap som lärts från en robot till en annan utan att behöva specialisera sig.

Vi går nu bortom modeller som reagerar på enskilda instruktioner och skapar system som verkligen kan ta itu med problem på ett generellt sätt - på vägen mot att lösa AGI i den fysiska världen. Utvecklare kan nu använda Gemini Robotics-ER 1.5 via Gemini API i @GoogleAIStudio. Ta reda på mer →