日次および週次のニュースレターに参加して、最新の更新情報や業界をリードする AI に関する独占コンテンツを入手してください。もっと詳しく知る
メタ いくつか作った 重大発表 今週はロボット工学と組み込み AI システムについて取り上げます。これには、物理世界をより深く理解し、対話するためのベンチマークとアーティファクトのリリースが含まれます。 Meta がリリースした 3 つの研究成果物である Sparsh、Digit 360、および Digit Plexus は、接触知覚、ロボットの器用さ、および人間とロボットのインタラクションに焦点を当てています。 Meta はまた、人間とロボットのコラボレーションにおける計画と推論を評価するための新しいベンチマーク PARTNR もリリースします。
このリリースは、基礎モデルの進歩によりロボット工学への関心が再び高まり、AI企業が徐々にデジタル領域から物理的世界へと競争を拡大している中で行われた。
業界では、大規模言語モデル (LLM) やビジョン言語モデル (VLM) などの基礎モデルの助けを借りて、ロボットが推論と計画を必要とするより複雑なタスクを実行できるという新たな期待が高まっています。
触覚
スパーシュは、ワシントン大学およびカーネギー メロン大学と共同で作成された、視覚ベースの触覚センシング用のエンコーダー モデルのファミリーです。ロボットに接触認識機能を提供することを目的としています。接触認識は、損傷を避けるために特定の物体にどの程度の圧力を加えることができるかを判断するなど、ロボット工学のタスクにとって非常に重要です。
視覚ベースの触覚センサーをロボット タスクに組み込む古典的なアプローチは、ラベル付きデータを使用して、有用な状態を予測できるカスタム モデルをトレーニングすることです。このアプローチは、さまざまなセンサーやタスクにわたって一般化されるものではありません。
Meta Sparsh アーキテクチャ クレジット: Meta
タッチセンサー
Meta は既存のデータを活用することに加えて、物理的なものから豊富な触覚情報を収集するためのハードウェアもリリースしています。 デジット360 は、18 以上のセンシング機能を備えた人工指型触覚センサーです。このセンサーには、指先表面の全方向の粒状変形を捕捉するための 800 万以上のタキセルが搭載されています。 Digit 360 は、さまざまなセンシング モダリティを捕捉して、環境とオブジェクトの相互作用をより深く理解できるようにします。
Digit 360 には、クラウドベースのサーバーへの依存を軽減するオンデバイス AI モデルもあります。これにより、人間や動物の反射弓と同様に、ローカルで情報を処理し、最小限の遅延でタッチに応答することが可能になります。
Meta Digit 360 クレジット: Meta
「ロボットの器用さの進歩を超えて、この画期的なセンサーには、医療や義肢から仮想現実やテレプレゼンスに至るまで、重要な応用可能性がある」とメタの研究者は書いている。
メタは、 コードとデザイン Digit 360 は、タッチ知覚におけるコミュニティ主導の研究とイノベーションを促進します。しかし、オープンソース モデルのリリースと同様、ハードウェアとモデルの潜在的な採用から得るものはたくさんあります。研究者らは、Digit 360 によって取得された情報は、より現実的な仮想環境の開発に役立つ可能性があり、将来的には Meta のメタバース プロジェクトにとって大きな効果をもたらす可能性があると考えています。
Meta はまた、ロボット アプリケーションの開発を促進することを目的としたハードウェアとソフトウェアのプラットフォームである Digit Plexus もリリースします。 Digit Plexus は、さまざまな指先および皮膚の触覚センサーを 1 つのロボット ハンドに統合し、センサーから収集した触覚データをエンコードし、1 本のケーブルを介してホスト コンピューターに送信できます。メタがリリースしているのは、 コードとデザイン 研究者がプラットフォーム上に構築し、ロボットの器用さの研究を進めることを可能にする Digit Plexus の利用。
Metaは、触覚センサーメーカーのGelSight Inc.と提携してDigit 360を製造する予定です。また、韓国のロボット工学会社Wonik Roboticsとも提携して、Digit Plexusプラットフォーム上で触覚センサーを備えた完全に統合されたロボットハンドを開発する予定です。
人間とロボットのコラボレーションの評価
Meta は、人間とロボットのコラボレーションによる計画と推論タスクもリリースしています (部品番号)、家事で人間と協力する場合の AI モデルの有効性を評価するためのベンチマーク。
PARTNR は、Meta のシミュレート環境である Habitat の上に構築されています。 60 軒のハウスに 100,000 の自然言語タスクが含まれており、5,800 を超える固有のオブジェクトが含まれています。このベンチマークは、人間の指示に従って LLM と VLM のパフォーマンスを評価するように設計されています。
Meta の新しいベンチマークは、ロボット工学や組み込み型 AI 設定での LLM と VLM の使用を検討する、ますます多くのプロジェクトに加わります。過去 1 年間、これらのモデルは、複雑なタスクにおけるロボットの計画および推論モジュールとして機能することが大いに期待できることが示されました。 Figure や Covariant などの新興企業は、計画に基礎モデルを使用するプロトタイプを開発しました。同時に、AI ラボはロボット工学のためのより優れた基盤モデルの作成に取り組んでいます。一例は、Google DeepMind の RT-X プロジェクトです。このプロジェクトでは、さまざまなロボットからのデータセットを集めて、さまざまなロボットの形態やタスクに一般化するビジョン言語アクション (VLA) モデルをトレーニングします。
VBデイリー
必ず知っておいてください!毎日受信箱で最新ニュースを入手してください
ご購読いただきありがとうございます。その他の VB ニュースレターはこちらからご覧ください。
エラーが発生しました。
#Meta物理世界でロボットに人間味を与える #ツールを発表