A importância de um SDK baseado em nuvem para robótica pode não parecer chamativa, mas é absolutamente crucial para o avanço do setor. Se você está em círculos tecnológicos, ouvirá sobre plataformas em nuvem diariamente, que raramente despertam a imaginação. No entanto, para robôs humanoides e operadores no mundo físico, um kit de ferramentas de simulação em nuvem é uma necessidade central para qualquer desenvolvedor que tenta escalar seu treinamento. Simulações precisas de mundos virtuais são uma das commodities mais procuradas na robótica atualmente. Pesquisadores estão realizando experimentos intermináveis para determinar quais combinações de dados reais e sintéticos geram os resultados mais precisos para tarefas de treinamento. Sim, empresas como a Tesla têm uma enorme vantagem inicial graças aos dados de redes neurais que coletaram de suas frotas, embora esses dados sejam simplesmente informações brutas até serem colocados em prática por meio de simulações de treinamento realistas. Para todos os outros, adquirir esse nível de dados ou mesmo o hardware para alimentá-lo simplesmente não é uma opção, a menos que você seja uma empresa com financiamento massivo. É aqui que a simulação em nuvem entra. Ao mover o treinamento e teste de robôs para ambientes virtuais baseados em nuvem, qualquer um pode acessar o poder computacional necessário e escalar. Uma plataforma em nuvem pode centralizar o compartilhamento dessas simulações, resultados e dados. Você está essencialmente abstraindo o acesso fechado que essas empresas bilionárias têm, os extensos componentes de hardware usados em laboratórios e trazendo conjuntos de dados à luz pública, onde contribuições de código aberto se tornam um +EV geral para a inovação. Esse modelo de negócios já está se provando com a parceria da LeRobot da Hugging Face (iniciativa de código aberto) com a Nvidia para conectar suas estruturas, permitindo que pesquisadores compartilhem modelos, conjuntos de dados e ambientes de simulação na nuvem. O objetivo final é criar um ciclo de dados, à medida que as pessoas contribuem com dados de simulação e políticas treinadas para repositórios abertos, isso acelera o progresso de outros, gerando mais dados acessíveis globalmente. Muito trabalho está sendo direcionado para isso, fechando a lacuna "sim para real". Simuladores muitas vezes não correspondiam à realidade, os robôs aprendiam comportamentos em um mundo virtual que não se transferiam para o mundo real, porque a física ou os visuais não eram precisos o suficiente. Essa lacuna está agora se fechando rapidamente devido à melhor fidelidade de simulação e abordagens de treinamento híbrido. A maioria dos modelos de fundação mais recentes em robótica (como o GROOT da NVIDIA e o Helix VLA da Figure) usa uma arquitetura de sistema duplo que imita a cognição humana. O mesmo se aplica a como eles estão treinando dados em simulações de mundo. Uma parte do modelo é treinada com dados de demonstração humana do mundo real, enquanto outra parte é treinada com uma enorme quantidade de dados sintéticos gerados por simuladores de alta fidelidade. Ao combinar treinamento físico e simulado, o modelo aprende habilidades precisas que se generalizam melhor. Dados reais fornecem verdade na IA, enquanto dados simulados fornecem a escala e a variedade que são impraticáveis de reunir no mundo físico. Os desenvolvedores podem até ajustar ou pós-treinar modelos com dados reais ou sintéticos adicionais para tarefas específicas, tornando o pipeline de treinamento extremamente flexível. O Helix VLA da Figure, que usa a abordagem Sistema 1/Sistema 2, é treinado com apenas centenas de horas de teleoperação (aumentadas por simulação e rotulagem inteligente), o Helix pode lidar com novas tarefas domésticas por meio de linguagem natural sem codificação personalizada. Demonstrando como modelos multimodais e treinamento sintético reduzem drasticamente as necessidades de dados. @codecopenflow está aplicando o mesmo princípio com o Octo, um VLA aberto integrado ao seu SDK Optr, permitindo percepção de múltiplas câmeras e controle guiado por linguagem com conjuntos de dados muito menores e menor computação. ...