Chúng tôi đang làm cho robot trở nên mạnh mẽ hơn bao giờ hết trong thế giới vật lý. 🤖 Gemini Robotics 1.5 là một hệ thống tác động nâng cao có khả năng lý luận tốt hơn, lập kế hoạch trước, sử dụng các công cụ kỹ thuật số như @Google Search, tương tác với con người và nhiều hơn nữa. Đây là cách nó hoạt động 🧵

Nhiều hoạt động hàng ngày của chúng ta cần nhiều bước để hoàn thành và có thể cực kỳ khó khăn đối với robot. Hãy tưởng tượng bạn hỏi: "Dựa trên vị trí của tôi, bạn có thể phân loại những đồ vật này vào các thùng phân compost, tái chế và rác đúng không?" 🗑️ Robot phải tìm kiếm trên web để biết các hướng dẫn địa phương, xem xét các đồ vật, tìm cách phân loại chúng và sau đó hoàn thành nhiệm vụ.

Để giải quyết những yêu cầu này, Gemini Robotics 1.5 có thể cung cấp năng lượng cho các ứng dụng tác động mới với hai mô hình AI chính làm việc cùng nhau: 🔹Gemini Robotics-ER 1.5: Đây là bộ não cấp cao, tương tác với con người, hiểu môi trường xung quanh, phối hợp các công cụ và tạo ra một kế hoạch chi tiết để thực hiện một nhiệm vụ. 🔹Gemini Robotics 1.5: Đây là mô hình chịu trách nhiệm thực hiện, chuyển đổi các hướng dẫn thành các lệnh động cơ chính xác cần thiết để robot di chuyển và hành động một cách tổng quát.

Gemini Robotics-ER 1.5 là mô hình tư duy đầu tiên được tối ưu hóa cho lý luận thân thể, và đạt được hiệu suất hàng đầu trong các tiêu chuẩn học thuật và nội bộ. 🧠 Sự hiểu biết về thế giới thực của nó khiến nó trở thành một nhạc trưởng cấp cao hoàn hảo cho các robot. Hãy xem cách nó tổ chức một bàn làm việc bận rộn ↓

Theo truyền thống, các mô hình VLA dịch các hướng dẫn trực tiếp thành chuyển động của robot. 🦾 Gemini Robotics 1.5 giờ đây có thể suy nghĩ trước khi hành động, tạo ra một chuỗi lý luận nội bộ bằng cách sử dụng ngôn ngữ tự nhiên. Điều này làm cho các hành động của robot dễ hiểu hơn và mở khóa nhiều nhiệm vụ hữu ích hơn - như sắp xếp quần áo theo màu sắc. ↓

Điều gì sẽ xảy ra khi bạn bảo robot "gói một chiếc vali cho chuyến đi của tôi đến London"? 🧳 Nó có thể tra cứu thời tiết, suy nghĩ về những gì cần gói, nơi để lấy nó và cách để gói nó. Trong quá trình này, mô hình có thể phân chia các nhiệm vụ dài thành những nhiệm vụ đơn giản hơn và có khả năng thích ứng với những thay đổi trong môi trường của nó. ↓

Robot có đủ hình dạng và kích cỡ, với các hình dạng, cảm biến và mức độ tự do khác nhau. 💡 Gemini Robotics 1.5 có thể học hỏi qua nhiều hình thức khác nhau và có thể chuyển giao kiến thức đã học từ robot này sang robot khác mà không cần phải chuyên môn hóa.

Chúng tôi hiện đang tiến xa hơn những mô hình chỉ phản ứng với các chỉ dẫn đơn lẻ và đang tạo ra các hệ thống có thể thực sự giải quyết vấn đề một cách tổng quát - trên con đường hướng tới việc giải quyết AGI trong thế giới vật lý. Các nhà phát triển giờ đây có thể sử dụng Gemini Robotics-ER 1.5 thông qua Gemini API trong @GoogleAIStudio. Tìm hiểu thêm →