日次および週次のニュースレターに参加して、最新の更新情報や業界をリードする AI に関する独占コンテンツを入手してください。 もっと詳しく知る
Nvidia は、ロボット学習とヒューマノイド開発を促進する新しい AI およびシミュレーション ツールを発表しました。
評価額で世界最大のテクノロジー企業（3兆4,320億ドル相当）は、今週ドイツのミュンヘンで開催されたロボット学習カンファレンス（CoRL）でツールが発表され、ロボット開発者がAI対応ロボットの開発を大幅に加速できるようになると述べた。
このラインナップには、Nvidia Isaac Lab ロボット学習フレームワークの一般提供が含まれています。人型ロボット開発を加速する取り組みであるプロジェクト GR00T のための 6 つの新しい人型ロボット学習ワークフロー。ビデオ データのキュレーションと処理のための新しいワールド モデル開発ツール (ビデオ処理用の Nvidia Cosmos トークナイザーや Nvidia NeMo Curator など)。
オープンソースの Cosmos トークナイザーは、画像とビデオを非常に高い圧縮率で高品質のトークンに分解することにより、ロボット開発者に優れた視覚的なトークン化を提供します。現在のトークナイザーよりも最大 12 倍高速に実行され、NeMo Curator は最適化されていないパイプラインよりも最大 7 倍高速にビデオ処理キュレーションを提供します。
また、CoRL に合わせて、Nvidia はロボット学習に関連する 23 件の論文と 9 件のワークショップを発表し、開発者向けのトレーニングとワークフロー ガイドもリリースしました。さらに、Hugging Face と Nvidia は、開発者コミュニティ向けに、LeRobot、Nvidia Isaac Lab、Nvidia Jetson とオープンソースのロボット研究を加速するために協力すると発表しました。
Isaac Lab でロボット開発を加速
Nvidia Isaac Lab は、産業デジタル化と物理 AI シミュレーションのための OpenUSD アプリケーションを開発するためのプラットフォームである Nvidia Omniverse 上に構築されたオープンソースのロボット学習フレームワークです。
開発者は Isaac Lab を使用してロボット ポリシーを大規模にトレーニングできます。このオープンソースの統合ロボット学習フレームワークは、ヒューマノイドから四足歩行ロボットや協働ロボットに至るまで、あらゆる実施形態に適用され、ますます複雑化する動きやインタラクションを処理します。
世界中の主要な商用ロボット メーカー、ロボット アプリケーション開発者、ロボット研究機関が Isaac Lab を採用しています。これには、1X、Agility Robotics、The AI Institute、Berkeley Humanoid、Boston Dynamics、Field AI、Fourier、Galbot、Mentee Robotics、Skild AI、 Swiss-Mile、Unitree Robotics、Xpeng Robotics。
プロジェクト GR00T: 汎用人型ロボットの基盤
人型生物がやってくる。高度なヒューマノイドの構築は非常に難しく、多層化が必要です
人間とロボット、およびロボットと環境の相互作用のためのスキルをロボットに効果的に認識、移動させ、学習させるための技術的かつ学際的なアプローチ。
プロジェクト GR00T は、世界的なヒューマノイド ロボット開発者のエコシステムを加速するために、高速化されたライブラリ、基盤モデル、データ パイプラインを開発する取り組みです。
6 つの新しいプロジェクト GR00T ワークフローは、最も困難なヒューマノイド ロボットの機能を実現するための青写真をヒューマノイド開発者に提供します。これには、AI を活用した生成的な OpenUSD ベースの 3D 環境を構築するための GR00T-Gen などが含まれます。
「ヒューマノイド ロボットは、身体化 AI の次の波です」と、Nvidia の身体化 AI 担当シニアリサーチマネージャーのジム ファン氏は声明で述べています。 「NVIDIA の研究チームとエンジニアリング チームは、社内と開発者エコシステム全体で協力してプロジェクト GR00T を構築し、世界的なヒューマノイド ロボット開発者の進歩と開発を促進しています。」
現在、ロボット開発者はワールド モデル、つまり物体や環境がロボットの動作にどのように反応するかを予測できる世界の AI 表現を構築しています。これらの世界モデルの構築は、信じられないほどの計算量とデータ量を必要とし、モデルには何千時間もの現実世界の厳選された画像またはビデオ データが必要です。
Nvidia Cosmos トークナイザーは、効率的で高品質のエンコードとデコードを提供し、これらのワールド モデルの開発を簡素化します。これらは、歪みと時間的不安定性を最小限に抑えるという新しい標準を確立し、高品質のビデオと画像の再構成を可能にします。
高品質の圧縮と最大 12 倍高速なビジュアル再構成を提供する Cosmos トークナイザーは、幅広いビジュアル ドメインにわたるスケーラブルで堅牢かつ効率的な生成アプリケーション開発への道を開きます。
ヒューマノイド ロボット会社 1X は、Cosmos トークナイザーを使用するように 1X World Model Challenge データセットを更新しました。
「Nvidia Cosmos トークナイザーは、視覚的な忠実性を維持しながら、データの非常に高度な時間的および空間的圧縮を実現します」と 1X Technologies の AI 担当副社長 Eric Jang 氏は声明で述べています。 「これにより、さらに計算効率の高い方法で、長距離ビデオ生成を使用してワールド モデルをトレーニングできるようになります。」
Xpeng Robotics や Hillbot などの他のヒューマノイドおよび汎用ロボット開発者は、Nvidia Cosmos トークナイザーを使用して高解像度の画像やビデオを管理する開発を行っています。
ニモキュレーター
NeMo Curator にはビデオ処理パイプラインが含まれるようになりました。これにより、ロボット開発者は、大規模なテキスト、画像、ビデオ データを処理するワールド モデルの精度を向上させることができます。
ビデオ データのキュレーションには、その巨大なサイズにより課題があり、スケーラブルなパイプラインと GPU 全体の負荷分散のための効率的なオーケストレーションが必要です。さらに、フィルタリング、キャプション、埋め込みのモデルは、スループットを最大化するために最適化する必要があります。
NeMo Curator は、自動パイプライン オーケストレーションでデータ キュレーションを合理化し、処理時間を大幅に短縮することで、これらの課題を克服します。マルチノード マルチ GPU システム全体での線形スケーリングをサポートし、100 ペタバイトを超えるデータを効率的に処理します。これにより、AI 開発が簡素化され、コストが削減され、市場投入までの時間が短縮されます。
可用性
Nvidia Isaac Lab 1.2 は現在入手可能で、GitHub でオープンソースです。 Nvidia Cosmos トークナイザーは、GitHub および Hugging Face で現在入手可能です。ビデオ処理用の NeMo Curator は今月末に利用可能になります。
新しい Nvidia プロジェクト GR00T ワークフローは、ロボット企業が人型ロボットの機能をより簡単に構築できるように、間もなく提供されます。
Isaac Lab の使用方法を学習している研究者や開発者向けに、Isaac Gym から Isaac Lab への移行ガイドを含む、新しい入門開発者ガイドとチュートリアルが利用可能になりました。