Важливість хмарного SDK для робототехніки може здатися не кричущою, але він має вирішальне значення для розвитку сектора. Якщо ви працюєте в технічних колах, ви щодня чуєте про хмарні платформи, які рідко розпалюють уяву. Тим не менш, для гуманоїдних роботів і операторів у фізичному світі набір інструментів для хмарного моделювання є основною необхідністю для будь-якого розробника, який намагається масштабувати своє навчання. Точне моделювання віртуального світу є одним із найбільш затребуваних товарів у робототехніці на даний момент. Дослідники проводять нескінченні експерименти, щоб визначити, які комбінації реальних і синтетичних даних дають найбільш точні результати для тренувальних завдань Так, такі компанії, як Tesla, мають величезну перевагу завдяки нейронним мережам, які вони зібрали зі своїх автопарків, хоча ці дані є просто сирою інформацією, поки вони не будуть застосовані на практиці за допомогою реалістичних симуляцій тренувань. Для всіх інших отримати такий рівень даних або навіть апаратне забезпечення для їх живлення просто не варіант, якщо ви не є компанією з величезним фінансуванням. Саме тут на допомогу приходить хмарне моделювання. Перенісши навчання та тестування роботів у хмарні віртуальні середовища, будь-хто може отримати доступ до необхідних обчислень і масштабування. Хмарна платформа може централізовано обмінюватися цими симуляціями, результатами та даними. По суті, ви абстрагуєтеся від закритих дверей, до якого мають доступ ці мільярдні компанії, від широких апаратних компонентів, що використовуються в лабораторіях, і від винесення наборів даних на загальний секрет, де внесок у відкритий вихідний код стає загальним +EV до інновацій. Ця бізнес-модель вже доводить свою ефективність завдяки партнерству LeRobot (ініціатива з відкритим вихідним кодом) від Hugging Face та Nvidia для підключення їхніх фреймворків, щоб дослідники могли обмінюватися моделями, наборами даних та середовищами моделювання в хмарі. Кінцева мета полягає в тому, щоб створити маховик даних, оскільки люди вносять дані моделювання та навчені політики для відкриття репозиторіїв, це прискорює прогрес інших, у свою чергу, генеруючи більш глобально доступні дані. Багато роботи спрямовується на те, щоб скоротити розрив між «сім і реальним». Симулятори часто не відповідали реальності, роботи вивчали поведінку у віртуальному світі, яка не переносилася в реальний світ, тому що фізика або візуальні ефекти були недостатньо точними. Зараз цей розрив швидко скорочується завдяки кращій точності симуляції та гібридним підходам до навчання. Більшість останніх базових моделей у робототехніці (наприклад, Isaac GROOT від NVIDIA та Helix VLA від Figure) використовують архітектуру подвійної системи, яка імітує людське пізнання. Те ж саме стосується і того, як вони тренуються в світових симуляторах. Одна частина моделі тренується на демонстраційних даних людини з реального світу, тоді як інша частина тренується на величезній кількості синтетичних даних, згенерованих за допомогою симуляторів високої точності. Поєднуючи фізичне та симульоване тренування, модель засвоює точні навички, які краще узагальнюють. Реальні дані забезпечують правду в штучному інтелекті, тоді як змодельовані дані забезпечують масштаб і різноманітність, які непрактично зібрати у фізичному світі. Розробники навіть можуть точно налаштовувати або розміщувати моделі поїздів з додатковими реальними або синтетичними даними для конкретних завдань, що робить навчальний конвеєр надзвичайно гнучким. Цифри Helix VLA, яка використовує підхід System 1/System 2, навчається лише на сотнях дистанційно керованих годин (доповнена симуляцією та інтелектуальним маркуванням), Helix може виконувати нові побутові завдання за допомогою природної мови без спеціального кодування. Демонстрація того, як мультимодальні моделі та синтетичні тренування різко скорочують дані. @codecopenflow застосовує той самий принцип з Octo, відкритою VLA, інтегрованою в Optr SDK, що забезпечує сприйняття кількох камер і керування мовою з набагато меншими наборами даних і меншим обсягом обчислень. ...