ロボット工学のためのクラウドベースの SDK の重要性は派手に聞こえないかもしれませんが、この分野を発展させるためには絶対に重要です。 テクノロジー界にいる人なら、クラウド プラットフォームについて毎日耳にするでしょうが、想像力をかき立てることはめったにありません。 しかし、物理世界のヒューマノイドロボットやオペレーターにとって、クラウドシミュレーションツールキットは、トレーニングを拡大しようとしている開発者にとって中核的な必需品です。 正確な仮想世界シミュレーションは、現在ロボット工学で最も求められている商品の 1 つです。研究者たちは、実際のデータと合成データの組み合わせがトレーニング タスクに対して最も正確な結果を生み出すかどうかを判断するために、無限の実験を実行しています 確かに、テスラのような企業は、フリートから収集したニューラルネットワークデータのおかげで大きな有利なスタートを切ることができますが、このデータは現実的なトレーニングシミュレーションを通じて実践されるまでは単なる生の情報です。 他の人にとって、そのレベルのデータやそれを強化するハードウェアさえも取得することは、巨額の資金を持つ企業でない限り、選択肢にありません。 ここでクラウドシミュレーションの出番です。ロボットのトレーニングとテストをクラウドベースの仮想環境に移行することで、誰でも必要なコンピューティングにアクセスして拡張できます。クラウドプラットフォームは、これらのシミュレーション、結果、データの共有を一元化できます。 本質的には、これらの10億ドル規模の企業がアクセスできる閉ざされたアクセス、ラボで使用される広範なハードウェアコンポーネントを抽象化し、データセットを一般に公開し、オープンソースの貢献がイノベーションへの全体的な+EVとなるのです。 このビジネスモデルは、Hugging FaceのLeRobot(オープンソースイニシアチブ)がNvidiaと提携してフレームワークを接続し、研究者がクラウド上でモデル、データセット、シミュレーション環境を共有できるようにすることで、すでに証明されています。 最終的な目標は、データフライホイールを作成することであり、人々がシミュレーションデータとトレーニングされたポリシーをオープンリポジトリに提供することで、他の人の進歩を加速し、ひいてはよりグローバルにアクセス可能なデータを生成します。 「シムからリアル」のギャップを埋めることで、多くの作業がこれに注がれています。シミュレーターは現実に及ばないことが多く、ロボットは仮想世界での行動を学習し、物理学やビジュアルが十分に正確ではなかったため、現実世界には移行しませんでした。このギャップは、シミュレーションの忠実度の向上とハイブリッドトレーニングアプローチにより、現在急速に縮まりつつあります。 ロボット工学の最新の基盤モデルのほとんど (NVIDIA の Isaac GROOT や Figure の Helix VLA など) は、人間の認知を模倣するデュアル システム アーキテクチャを使用しています。同じことが、ワールドシムでデータをトレーニングする方法にも当てはまります。モデルの一部は現実世界からの人間のデモンストレーションデータでトレーニングされ、別の部分は忠実度の高いシミュレーターを介して生成された大量の合成データでトレーニングされます。 物理トレーニングとシミュレートされたトレーニングを組み合わせることで、モデルは正確なスキルを学習し、よりよく一般化します。実際のデータは AI の真実を提供しますが、シミュレートされたデータは、物理世界で収集するのは現実的ではない規模と多様性を提供します。開発者は、特定のタスクに対して追加の実際のデータまたは合成データを使用してモデルを微調整したり、トレーニング後に投稿したりすることもできるため、トレーニング パイプラインが非常に柔軟になります。 図システム1/システム2アプローチを使用するHelix VLAは、わずか数百時間の遠隔操作時間(シミュレーションとスマートラベリングによって強化)でトレーニングされており、Helixはカスタムコーディングなしで自然言語を介して新しい家事を処理できます。マルチモーダルモデルと合成トレーニングがデータのニーズを劇的に削減する方法を示します。 @codecopenflowは、Optr SDKに統合されたオープンVLAであるOctoにも同じ原理を適用し、はるかに小さなデータセットとより低いコンピューティングでマルチカメラ認識と言語ガイド付き制御を可能にします。 ...