Meta は AI を通じてロボットに人間と自然界との接触を提供します [Videos]

または メタ ～についていくつかの重要な発表を行った ロボット工学 そして 組み込み人工知能システム 今週。これらには、自然界をより深く理解し、自然界と対話するためのベンチマークとツールのリリースが含まれます。

の スパーシュ、 デジット360 そして 指神経叢、 三つ 研究 ツール Meta によってリリースされたこのツールは、触覚、ロボットの器用さ、人間とロボットのインタラクションに焦点を当てています。メタもリリースします 部品番号、新しいもの ベンチマーク 人間とロボットのコラボレーションにおける計画と推論を評価します。

このリリースは、基本モデルの進歩によりロボット工学と企業への関心が新たになっている中で行われました。 人工知能 各社は徐々に競争をデジタル領域から物理的な世界に拡大しつつあります。

業界では、大規模言語モデル (LLM) やビジョン言語モデル (VLM) などの基礎モデルの助けを借りて、 ロボット 推論と計画が必要な、より複雑なタスクを実行できるようになります。

スパーシュ

の スパーシュは、ワシントン大学およびカーネギー メロン大学と共同で作成された、ビジョンベースのタッチ センサー用のエンコーダー モデル ファミリです。 その目的は、ロボットに接触認識機能を提供することです。。触覚は、次のようなロボット工学のタスクにとって非常に重要です。 特定の物体が破壊されないように、その物体に加えられる圧力を決定すること。

ビジョンベースのタッチセンサーをロボットタスクに組み込む古典的なアプローチは、ラベル付きデータを使用して、有用な状況を予測できるカスタムモデルをトレーニングすることです。このアプローチは、さまざまなセンサーやタスクに一般化されるものではありません。

または メタ それを説明します スパーシュ 一つとして 汎用モデル これは、さまざまな種類の視覚ベースのタッチ センサーやさまざまなタスクに適用できます。前世代の接触知覚モデルが直面した課題を克服するために、研究者らは次の方法で Sparsh モデルをトレーニングしました。 自己教師あり学習 (SSL)、ラベル付きデータが不要になります。

モデルは以上のものでトレーニングされています 460,000 枚の触覚画像、さまざまなデータセットから統合されました。研究者の実験によると、 Sparsh は、タスクとセンサーを含む最終制御モデルと比較して平均 95.1% の改善を達成限られたラベル付きデータ予算の下で。研究者らは、Meta の I-JEPA モデルや DINO モデルなど、さまざまなアーキテクチャに基づいて Sparsh のさまざまなバージョンを構築しました。

デジット360

既存のデータを活用するだけでなく、 メタ 身体から豊富な触覚情報を収集する装置もリリースしています。の デジット360 1つです 18以上の検出機能を備えた指型の人工タッチセンサー。このセンサーには 800 万個を超えるタキセルがあり、指先表面の全方向の粒状変形を捕捉します。の デジット360 さまざまな感覚機能を捕捉して、環境とオブジェクトの相互作用をより深く理解できるようにします。

の デジット360 も持っています デバイス内 AI モデル。 クラウドベースのサーバーへの依存を軽減します。これにより、情報をローカルで処理し、人間や動物の反射と同様に最小限の遅延でタッチに応答することが可能になります。

«この画期的なセンサーは、ロボットの器用さの進歩を超えて、医療や義肢から仮想現実やテレプレゼンスに至るまで、重要な応用可能性を秘めています。」とメタ研究者は書いている。

メタはコードと計画を公開します。 デジット360 触覚におけるコミュニティの研究と革新を促進する。しかし、オープンソース モデルのリリースと同様、ハードウェアとモデルの潜在的な採用から得るものはたくさんあります。研究者らは、記録された情報は、 デジット360 より現実的な仮想環境の開発に役立ちます。 メタバース プロジェクト 将来のメタの。

指神経叢

メタもリリースします 指神経叢、ロボット アプリケーションの開発を促進することを目的としたハードウェアとソフトウェアのプラットフォーム。の 指神経叢 は、さまざまな指先および皮膚タッチ センサーを 1 つのロボット アームに統合し、センサーによって収集されたタッチ データをエンコードし、1 本のケーブルを介してホスト コンピューターに送信できます。 Meta がコードとデザインを公開 指神経叢そのため、研究者はプラットフォームを構築してロボットの器用さの研究を進めることができます。

メタが製造します デジット360 タッチセンサーメーカーGelSight Inc.との提携また、韓国のロボット企業Wonik Roboticsと協力して、Digit Plexusプラットフォーム上でタッチセンサーを備えた完全統合型ロボットアームを開発する予定だ。

部品番号

または メタ もリリースします 人間とロボットのコラボレーションにおけるタスクの計画と推論 (部品番号)、家事で人間と協力する場合の AI モデルの有効性を評価するためのベンチマーク。

の 部品番号 それはハビの上に建てられていますtat、メタのシミュレート環境。これには、60 世帯にわたる 100,000 の自然言語タスクが含まれており、5,800 を超える固有のオブジェクトが含まれています。ベンチマークは、次のパフォーマンスを評価するように設計されています。 LLM そして VLM 人間からの指示に従うこと。