Covariant、ロボット向けのユニバーサル AI プラットフォームを発表

いつ IEEEスペクトルCovariant について最初に書いたのは 2020 年でした。それは、単一のエンドツーエンドのニューラル ネットワークの魔法を通じて、大規模な倉庫ピッキングにロボット工学を適用しようとしている、新しいロボット工学のスタートアップでした。 当時、Covariant はこのピッキングのユースケースに焦点を当てていました。これは、倉庫会社が自社の倉庫内で商品をピッキングするためのロボットに対して Covariant に料金を支払うという、即時的な価値を提供できるアプリケーションだからです。 しかし、Covariant にとってエキサイティングな部分は、過去 4 年間にわたって、倉庫での商品のピッキングによって大量の現実世界の操作データが生成されたことであり、これがどこに向かうのかはおそらく推測できるでしょう。

本日、Covariant は RFM-1 を発表します。同社はこれをロボットに「人間のような推論能力」を与えるロボット工学基盤モデルと説明しています。 これはプレスリリースからのもので、私は必ずしも「人間らしさ」や「理性」を深読みするつもりはありませんが、Covariant がここで行っていることは非常にクールです。

「基礎モデル」とは、RFM-1 がより多くのデータでトレーニングされて、より多くのことを実行できることを意味します。現時点では、それがトレーニング対象であるため、ウェアハウスの操作がすべてですが、より多くのデータを供給することでその機能を拡張できます。 「当社の既存のシステムは、非常に高速かつ可変的なピック アンド プレイスを実行するのにすでに十分な機能を備えています」と Covariant の共同創設者 Pieter Abbeel 氏は述べています。 「しかし、私たちは今、さらにそれをさらに進めています。 どのようなタスクでも、どのような具体化でも、それが長期的なビジョンです。 世界中の数十億台のロボットに動力を供給するロボット工学基盤モデル。」 話を聞いてみると、倉庫自動化ロボットの大規模なフリートを導入するという Covariant のビジネスは、80 億パラメータの RFM をトレーニングするために必要な数千万の軌跡 (作業中にロボットがどのように動くか) を収集する最速の方法でした。 -1モデル。

共変

「私たちが行っていることを実現できる唯一の方法は、世界中にロボットを配備して大量のデータを収集させることです」とアブビール氏は言います。 「これにより、独自の機能を備えたロボット基礎モデルをトレーニングできるようになります。」

この種の試みは他にもあり、RTX プロジェクトは最近の例の 1 つです。 しかし、RT-X は、有用な十分な大きさのデータセットを作成するためにどのようなデータを共有しているか研究機関に依存していますが、Covariant は倉庫ロボット群のおかげで単独でそれを行っています。 「RT-X には約 100 万の軌跡のデータがあります。しかし、数週間ごとに 100 万の軌跡を取得できるため、私たちはそれを超えることができます。」と Abbeel 氏は言います。

「15 か国の数十の顧客に導入されている貴重なピッキング ロボットを構築することで、実質的にデータ収集マシンが完成します。」 —Pieter Abbeel、共変

RFM-1 の現在の実行は、倉庫環境における吸引ベースのオブジェクト操作のための予測エンジンと考えることができます。 このモデルには、静止画像、ビデオ、関節角度、力の読み取り、吸盤の強度など、Covariant が行う種類のロボット操作に関係するすべてが組み込まれています。 これらはすべて RFM-1 内で相互接続されています。つまり、これらのいずれかを RFM-1 の一方の端に入れると、モデルのもう一方の端から予測が得られることになります。 その予測は、画像、ビデオ、またはロボットに対する一連のコマンドの形式で行うことができます。

これらすべてについて理解することが重要なことは、RFM-1 は、以前に見たものだけを選択したり、直接経験のあるロボットのみを操作したりすることに制限されていないということです。 これが基礎モデルの優れた点です。基礎モデルはトレーニング データの範囲内で一般化することができ、新しいピッキング ロボットや新しい品目ごとに再トレーニングする必要がないため、Covariant はこれまでと同様にビジネスをうまく拡大できています。 。 これらの大規模モデルの直観に反する点は、トレーニングされたモデルよりも新しい状況に対処するのが実際には優れていることです。 具体的には そういった状況に備えて。

たとえば、高速道路で車を運転するモデルをトレーニングしたいとします。 アブビール氏によれば、問題は、とにかく他の種類の運転を訓練することに時間を費やす価値があるかどうかだという。 答えは「はい」です。なぜなら、高速道路の運転は時々危険だからです。 ない 高速道路の運転。 事故やラッシュアワーの渋滞が発生し、通常とは異なる運転が必要になる場合があります。 市街地での運転のトレーニングも行っている場合は、高速道路のエッジケースでも効果的にトレーニングしていることになり、いつか役に立ち、全体的なパフォーマンスが向上します。 RFM-1 でも、これは同じ考えです。さまざまな種類の操作 (さまざまなロボット、さまざまなオブジェクトなど) をトレーニングすると、単一の種類の操作の能力がそれだけ向上することになります。

一般化の文脈で、Covariant は RFM-1 の環境を「理解する」能力について語ります。 これは AI に関しては難しい言葉かもしれませんが、重要なのは、「理解する」という意味を RFM-1 の機能に根付かせることです。 たとえば、次のようにする必要はありません。 理解する 野球をキャッチできるようになるには物理学が必要ですが、野球をキャッチする多くの経験が必要です。それが RFM-1 の目的です。 あなたは出来る また 野球の経験はなくても物理を理解した上で野球の捕球方法を考え出すと、RFM-1 は ない だからこそ、私はこの文脈で「理解する」という言葉を使うことを躊躇します。

しかし、このことは、RFM-1 の別の興味深い機能をもたらします。それは、制約されている場合でも、非常に効果的なシミュレーション ツールとして動作するということです。 ビデオを出力する予測エンジンとして、アクション シーケンスの次の数秒がどのようになるかを生成するように要求できます。すべてのデータに基づいた、現実的かつ正確な結果が得られます。 ここで重要なのは、RFM-1 は、フロッピーなものなど、従来はシミュレートすることが困難だったオブジェクトを効果的にシミュレートできることです。

Covariant の Abbeel 氏は、RFM-1 の予測の基礎となる「世界モデル」は事実上、学習された物理エンジンであると説明しています。 「物理エンジンを構築することは、世界で起こり得るすべてのことを実際にカバーする非常に困難な作業であることが判明しました」とアビール氏は言います。 「複雑なシナリオを作成すると、コンピュータ上で物理エンジンを実行するためにあらゆる種類の近似を行う必要があるため、シナリオは非常に不正確になり、すぐに不正確になってしまいます。 私たちは世界モデルを使用してこれの大規模データ版を実行しているところですが、非常に良い結果が得られています。」

アッビール氏は、シリンダーがベルトコンベア上に垂直に置かれた場合に何が起こるかをロボットにシミュレート (または予測) させる例を挙げています。 この予測は、ベルトが動き始めるとシリンダーが倒れて転がる様子を正確に示しています。これはシリンダーがシミュレートされているからではなく、RFM-1 が多くのコンベア ベルトに多くの物が置かれているのを観察しているためです。

「今から 5 年後、私たちがここで構築しているものが、誰もが使用する唯一のタイプのシミュレーターになる可能性は低くありません。」 —Pieter Abbeel、共変

これは、RFM-1 のトレーニングに適した種類のデータがある場合にのみ機能するため、ほとんどのシミュレーション環境とは異なり、現時点では完全に新しいオブジェクトや状況に一般化することはできません。 しかしアッビール氏は、十分なデータがあれば有用な世界シミュレーションが可能になると信じている。 「今から 5 年後、私たちがここで構築しているものが、誰もが使用する唯一のタイプのシミュレーターになる可能性は低くありません。 これは、衝突チェックや有限要素などを備えて最初から構築されたシミュレーターよりも高性能です。 これらすべてを物理エンジンに組み込むのは、いかなる方法であっても非常に困難であり、現実世界で見えるようにするためのレンダラーは言うまでもなく、ある意味、私たちは近道を行っているのです。」

RFM-1 には、人間とより効果的にコミュニケーションできるようにするための言語データも組み込まれています。共変

Covariant が「世界中の数十億台のロボット」を動かす基礎モデルの長期ビジョンに向けて RFM-1 の機能を拡張するには、次のステップは、さまざまなタスクを実行するさまざまなロボットからより多くのデータを供給することです。 。 「私たちは基本的にデータ取り込みエンジンを構築しました」と Abbeel 氏は言います。 「別の種類のデータを提供していただければ、それも取り込みます。」

「私たちは、この種のモデルがあらゆる種類のロボットに動力を供給できることに大きな自信を持っています。おそらく、ロボットの種類や使用可能な状況の種類について、より多くのデータがあれば可能です。」 —Pieter Abbeel、共変

いずれにせよ、その経路には膨大な量のデータが含まれることになるが、それは Covariant が自社の倉庫操作ロボット群を使って現在収集していないデータとなるだろう。 では、たとえば、あなたが人型ロボット会社である場合、収集したすべてのデータを Covariant と共有する動機は何でしょうか? 「売り文句は、彼らが現実の世界に到達できるよう支援するということです」と、Covariant の共同創設者である Peter Chen 氏は言います。 「生産環境でロボットを真に自律させるための AI を導入している企業は、それほど多くないと思います。 彼らが堅牢で強力で、現実世界への参入を実際に支援できる AI を望んでいるなら、私たちがまさに最善の選択肢です。」

ここでの Covariant の中心的な主張は、どのロボット企業も独自のモデルを個別にトレーニングすることは確かに可能であるが、そのパフォーマンスは、少なくとも操作を行おうとする人にとっては、 Covariant が RFM-1 内にすでに持っている操作データ。 「ロボット工学の基礎モデル企業になることが、私たちの長期計画でした」とチェン氏は言います。 「ここに至るまでには十分なデータ、コンピューティング、アルゴリズムがありませんでした。しかし、ロボット用のユニバーサル AI プラットフォームを構築することが、Covariant の当初からの目標でした。」