Kami membuat robot lebih mampu dari sebelumnya di dunia fisik. 🤖 Gemini Robotics 1.5 adalah sistem agen yang ditingkatkan yang dapat bernalar lebih baik, merencanakan ke depan, menggunakan alat digital seperti @Google Search, berinteraksi dengan manusia, dan banyak lagi. Begini cara kerjanya 🧵

Banyak aktivitas sehari-hari kita membutuhkan banyak langkah untuk diselesaikan dan bisa sangat menantang bagi robot. Bayangkan bertanya: "Berdasarkan lokasi saya, dapatkah Anda menyortir benda-benda ini ke dalam tempat sampah kompos, daur ulang, dan tempat sampah yang benar?" 🗑️ Robot harus mencari pedoman lokal di web, melihat objek, mencari tahu cara menyortirnya dan kemudian menyelesaikan tugas. ↓

Untuk mengatasi permintaan ini, Gemini Robotics 1.5 dapat mendukung aplikasi agen baru dengan dua model AI utama yang bekerja bersama: 🔹Gemini Robotics-ER 1.5: Ini bertindak sebagai otak tingkat tinggi, berinteraksi dengan orang-orang, memahami lingkungannya, mengatur alat, dan membuat rencana terperinci untuk melaksanakan tugas. 🔹Gemini Robotics 1.5: Ini bertanggung jawab untuk eksekusi, menerjemahkan instruksi menjadi perintah motor yang tepat yang diperlukan agar robot bergerak dan bertindak secara umum.

Gemini Robotics-ER 1.5 adalah model pemikiran pertama yang dioptimalkan untuk penalaran yang diwujudkan, dan mencapai kinerja canggih pada tolok ukur akademik dan internal. 🧠 Pemahamannya di dunia nyata menjadikannya orkestrator tingkat tinggi yang sempurna untuk robot. Tonton bagaimana ia menangani pengaturan meja yang sibuk ↓

Secara tradisional, model VLA menerjemahkan instruksi langsung ke dalam gerakan robot. 🦾 Gemini Robotics 1.5 sekarang dapat berpikir sebelum mengambil tindakan, menghasilkan urutan penalaran internal menggunakan bahasa alami. Ini membuat tindakan robot lebih mudah ditafsirkan, dan membuka tugas yang lebih berguna - seperti mengatur cucian berdasarkan warna. ↓

Apa yang terjadi ketika Anda menyuruh robot untuk "mengemasi koper untuk perjalanan saya ke London"? 🧳 Itu dapat mencari cuaca, memikirkan apa yang harus dikemas, di mana mendapatkannya, dan bagaimana mengemasnya. Dalam proses ini, model dapat memecah tugas panjang menjadi yang lebih sederhana dan dapat beradaptasi dengan perubahan lingkungannya. ↓

Robot datang dalam berbagai bentuk dan ukuran, dengan berbagai bentuk, penginderaan, dan tingkat kebebasan. 💡 Gemini Robotics 1.5 dapat belajar di berbagai perwujudan dan dapat mentransfer pengetahuan yang dipelajari dari satu robot ke robot lain tanpa perlu berspesialisasi.

Kami sekarang bergerak melampaui model yang bereaksi terhadap instruksi tunggal dan menciptakan sistem yang benar-benar dapat mengatasi masalah secara umum - di jalur menuju pemecahan AGI di dunia fisik. Pengembang sekarang dapat menggunakan Gemini Robotics-ER 1.5 melalui Gemini API pada tahun @GoogleAIStudio. Cari tahu lebih lanjut →