研究者が、新しく開発された手法がロボットが雑然とした空間で物体を識別するのにどのように役立つかを議論する

テーブルの上にコーヒーカップが置かれているところを想像してください。 ここで、本がカップの一部を隠していると想像してください。 私たち人間は、たとえすべてを見ることはできなくても、コーヒー カップが何であるかを知っています。 しかし、ロボットは混乱するかもしれません。

倉庫や家の周囲でさえ、物体が近づきすぎたり、空間が乱雑に散らかったりすると、ロボットは物体を識別して拾い上げるのに苦労します。 これは、ロボットには、心理学者が「オブジェクトの統一性」と呼ぶもの、つまり、すべてが見えなくてもものを識別する能力が欠けているためです。

ワシントン大学の研究者たちは、ロボットにこのスキルを教える方法を開発しました。 略してTHORと呼ばれるこの方法により、低コストのロボットが乱雑な棚の上にある物体（マスタードボトル、プリングルズの缶、テニスボールなど）を識別できるようになった。 で 最近の論文 に発表されました ロボット工学に関するIEEEトランザクション、チームはTHORが現在の最先端モデルを上回るパフォーマンスを実証しました。

UW News は、工業分野と産業分野の両方の分野で上級著者である UW 准教授の Ashis Banerjee 氏に連絡を取りました。 システムエンジニアリング ロボットが物体を識別する方法と THOR がどのように機能するかについて詳しくは、機械工学部門に問い合わせてください。

ロボットはどのようにして周囲の状況を感知するのでしょうか?

私たちは視覚、聴覚、嗅覚、味覚、触覚を使って周囲の世界を感じます。 ロボットは、1 つまたは複数の種類のセンサーを使用して周囲を感知します。 ロボットは、標準的なカラー カメラ、またはより複雑なステレオ カメラや深度カメラを使用して物体を「見る」ことができます。 標準的なカメラは単に周囲のカラー画像やテクスチャ画像を記録するだけですが、ステレオ カメラや深度カメラは、私たちの目と同じように、物体がどれだけ離れているかに関する情報も提供します。

しかし、センサーだけではロボットが周囲の状況を「認識」することはできません。 ロボットには、画像を処理してすべての物体がどこにあるかを検出し、その方向を推定し、物体が何であるかを識別し、そこに書かれたテキストを解析するために、人間の脳の視覚野と同様の視覚認識システムが必要です。

ロボットが雑然とした空間で物体を識別するのが難しいのはなぜですか?

ここには主に 2 つの課題があります。 まず、さまざまな形やサイズのオブジェクトが多数存在すると考えられます。 このため、ロボットの認識システムがさまざまな種類のオブジェクトを区別することが困難になります。 第 2 に、複数のオブジェクトが互いに近くに配置されている場合、他のオブジェクトの視界が妨げられます。 ロボットは、オブジェクトの全体像が見えない場合、オブジェクトを認識するのが困難になります。

雑然とした空間で特に識別しにくい種類の物体はありますか?

その多くは、どのようなオブジェクトが存在するかによって決まります。 たとえば、さまざまなサイズが存在する場合、より小さなオブジェクトを認識するのは困難です。 また、異なる種類のボールや箱など、類似または同一の形状を持つオブジェクトを区別することはさらに困難です。 ロボットが室内のさまざまな視点から画像を収集するときに形状が変化する可能性のある柔らかい物体やふにゃふにゃした物体では、さらなる課題が発生します。

では、THOR はどのように機能し、この問題を解決するためのこれまでの試みよりも優れているのはなぜでしょうか?

THOR は実際、筆頭著者である Ekta Samani の発案であり、彼はカリフォルニア大学の博士課程の学生としてこの研究を完了しました。 THOR の核心は、部分的に見える物体が壊れたものではなく、まったく新しい物体ではないことを人間が認識する方法をロボットが模倣できるようにすることです。

THOR は、シーン内のオブジェクトの形状を使用して各オブジェクトの 3D 表現を作成することでこれを実現します。 そこから、オブジェクトの異なる部分間の接続性を研究する数学の分野であるトポロジーを使用して、各オブジェクトを「最も可能性の高い」オブジェクト クラスに割り当てます。 これは、その 3D 表現を保存された表現のライブラリと比較することによって行われます。

THOR は、散らかった部屋の画像を使用した機械学習モデルのトレーニングには依存しません。 必要なのは、さまざまなオブジェクトのそれぞれの画像だけです。 THOR は、ロボットに特殊で高価なセンサーやプロセッサーを搭載する必要がなく、市販のカメラでもうまく動作します。

これは、THOR の構築が非常に簡単であり、さらに重要なことに、背景、照明条件、オブジェクトの配置、乱雑さの程度が多様なまったく新しいスペースにもすぐに役立つことを意味します。 また、オブジェクトの 3D 表現がより詳細であるため、既存の 3D 形状ベースの認識方法よりもうまく機能し、リアルタイムでオブジェクトを識別するのに役立ちます。

THOR はどのように使用できるのでしょうか?

THOR は、ロボットが家庭、オフィス、店舗、倉庫施設、製造工場のいずれで動作するかに関係なく、あらゆる屋内サービス ロボットで使用できます。 実際、私たちの実験による評価では、THOR が倉庫、ラウンジ、ファミリールームタイプのスペースでも同様に効果的であることが示されています。

THOR は、これらの雑然とした空間にあるあらゆる種類の物体に対して他の既存の方法よりも大幅に優れたパフォーマンスを発揮しますが、マグカップやピッチャーなど、特徴的ではあるが規則的な形状と適度なサイズのバリエーションを持つキッチンスタイルの物体の識別には最も優れています。 。

次は何ですか？

他にも対処する必要のある問題がいくつかあり、私たちはそれらのいくつかに取り組んでいます。 たとえば、現時点では THOR はオブジェクトの形状のみを考慮していますが、将来のバージョンでは、色、テクスチャ、テキスト ラベルなどの外観の他の側面にも注意を払う可能性があります。 また、予期された構成とは異なる形状を持つ、ふにゃふにゃした物体や損傷した物体に THOR を使用して対処する方法を検討する価値もあります。

また、スペースによっては、特定のオブジェクトがまったく見えないほど乱雑に配置されている場合もあります。 これらのシナリオでは、ロボットは、オブジェクトをよりよく「見る」ために動き回るか、または、許可されている場合は、遮られたオブジェクトをよりよく見るために一部のオブジェクトの周りを動き回るかを決定できる必要があります。

最後に重要なことですが、ロボットはこれまで見たことのないオブジェクトを処理できる必要があります。 これらのシナリオでは、 ロボット これらのオブジェクトを「その他」または「不明」オブジェクト カテゴリに分類し、これらのオブジェクトを正しく識別するために人間の助けを求めることができる必要があります。