ロボットの顔がアイコンタクトを取り、AI を使用して人の笑顔が起こる前に予測して再現します。

人間のような頭を持つロボットに近づいて、最初にロボットがあなたに微笑みかけたら、あなたはどうしますか? おそらくあなたは笑顔を返し、二人が心から交流していると感じるでしょう。 しかし、ロボットはどのようにしてこれを行う方法を知るのでしょうか? もっと良い質問は、どうやってあなたに笑顔を取り戻してもらえるのかということです。

私たちが熟練したロボットに慣れていく一方で、 言葉によるコミュニケーションChatGPT のような大規模な言語モデルの進歩のおかげで、特に非言語コミュニケーション スキルが向上しました。 顔の表情、大きく遅れをとっています。 幅広い表情を作ることができるだけでなく、それをいつ使用するかを認識できるロボットを設計することは、困難な作業でした。

課題に取り組む

Columbia Engineering の Creative Machines Lab は、5 年以上にわたってこの課題に取り組んできました。 新しい研究では 出版された 今日は サイエンスロボティクス、グループは、顔の表情を予測し、人間と同時に実行するロボット、Emo を発表しました。 さらに、人が微笑む約 840 ミリ秒前に次の笑顔を予測し、その人と同時に笑顔を表現することも学習しました。

人工知能 (AI) とロボット工学の分野の第一人者であるホッド・リプソン氏が率いるチームは、2 つの課題に直面しました。それは、複雑なハードウェアと作動メカニズムを含む、表情豊かで多用途なロボットの顔をどのように機械的に設計するか、そしてどの表情を生成するかを知ることです。そうすることで、自然で、タイムリーで、本物に見えるようになります。

研究チームは、人間の将来の表情を予測し、それを人間と同時に実行するようにロボットを訓練することを提案した。 これらの表現のタイミングは重要でした。遅れて顔の模倣を行うと不誠実に見えますが、タイムリーに実行するには人間の感情状態を正しく推測する必要があるため、顔の同時表現はより本物に感じられます。

エモとあなたとのつながり方

Emo は人間のような顔をした頭部で、26 個のアクチュエーターを搭載しており、幅広い微妙な表情表現を可能にします。 ヘッドは磁気アタッチメントシステムを備えた柔らかいシリコンスキンで覆われており、簡単なカスタマイズと迅速なメンテナンスが可能です。 より本物に近い対話を実現するために、研究者らは各目の瞳孔内に高解像度カメラを組み込み、エモが非言語コミュニケーションに不可欠なアイコンタクトを取れるようにした。

チームは 2 つの AI モデルを開発しました。1 つはターゲットの顔の微妙な変化を分析することで人間の表情を予測し、もう 1 つは対応する顔の表情を使用して運動コマンドを生成します。

ロボットに表情の作り方を訓練するために、研究者らはエモをカメラの前に置き、ランダムな動きをさせた。 数時間後、ロボットは人間が鏡を見て表情を練習するのと同じように、顔の表情と運動コマンドの関係を学習しました。 これはチームが「自己モデリング」と呼んでいるもので、私たちのものと似ています。 人間の能力 特定の表情をしたときに私たちがどのように見えるかを想像すること。

次に、チームは人間の表情のビデオをエモに実行して、フレームごとに観察しました。 数時間続くトレーニングの後、エモは、人々が笑顔を作り始めるときの顔の小さな変化を観察することで、人々の表情を予測できるようになった。

「人間の表情を正確に予測することは、HRI における革命だと思います。従来、ロボットは対話中に人間の表情を考慮するように設計されていませんでした。現在、ロボットは人間の表情をフィードバックとして統合できるようになりました。」と研究の筆頭著者である Yuhang Hu 氏は述べています。博士号は誰ですかコロンビア工学部のリプソン研究室の学生。

「ロボットがリアルタイムで人間と共同表現を行うと、インタラクションの質が向上するだけでなく、人間とロボットの間の信頼関係の構築にも役立ちます。将来的には、ロボットと対話するときに、ロボットはあなたの表情を観察し、解釈するようになるでしょう」 、まるで本物の人間のように。」

次は何ですか

研究者たちは現在、ChatGPT のような大規模な言語モデルを使用して、口頭コミュニケーションを Emo に統合することに取り組んでいます。 ロボットがより人間のように行動できるようになるにつれて、リプソン氏はこの新しいテクノロジーに関連する倫理的考慮事項を十分に認識しています。

「この機能は、ホームアシスタントから教育支援に至るまで、数多くの前向きな用途を先駆けていますが、開発者とユーザーには慎重さと倫理的配慮が求められます」と、機械工学科イノベーション教授のリプソン、ジェームス、サリー・スカパ教授は述べています。コロンビアエンジニアリング社、コロンビア社Makerspace共同ディレクター、データサイエンスインスティテュートのメンバー

「しかし、それは非常にエキサイティングなことでもあります。人間の表情を正確に解釈して模倣できるロボットを進歩させることで、ロボットが私たちの日常生活にシームレスに溶け込み、仲間や支援、さらには共感さえも提供できる未来に私たちは近づいています。ロボットとの対話は、友達と話すのと同じくらい自然で快適です。」