1712758593
2024-04-10 14:01:04
コーネル大学の研究者は、ソナーのようなセンシングを通じて人の視線と顔の表情を追跡する 2 つの技術を開発しました。
このテクノロジーは、市販のスマートグラスや仮想現実 (VR) または拡張現実 (AR) ヘッドセットに適合するほど小型でありながら、カメラを使用する同様のツールに比べて消費電力が大幅に低くなります。
どちらも、メガネのフレームに取り付けられたスピーカーとマイクを使用して、耳に聞こえない音波を顔に反射させ、顔や目の動きによって引き起こされる反射信号を拾います。 デバイスの 1 つである GazeTrak は、音響信号に依存する初の視線追跡システムです。 2 つ目の EyeEcho は、顔の表情を継続的かつ正確に検出し、アバターを通じてリアルタイムで再現する初の眼鏡ベースのシステムです。
Ke Li は、GazeTrak スマート眼鏡追跡テクノロジーの主任研究者です。
デバイスは、スマートグラスのバッテリーで数時間、VR ヘッドセットで 1 日以上持続できます。
「小さくて、安くて、超低消費電力なので、スマートグラスの上に毎日着用できます。バッテリーを消耗することはありません。」と彼は言いました。 チェン・チャン、コーネル・アン・S・バウワーズ・カレッジ・オブ・コンピューティングおよび情報科学の情報科学助教授。 チャン監督は、 将来のインタラクションのためのスマート コンピューター インターフェイス (SciFi) ラボ 新しいデバイスを作成しました。
GazeTrak と EyeEcho の開発を主導した情報科学分野の博士課程の学生、Ke Li 氏は次のように述べています。
ビデオの代わりに音声信号を使用すると、プライバシーの懸念も少なくなる、とリー氏は述べた。 「この研究分野には、Vision Pro や Oculus など、顔の表情や視線の動きを追跡するためのカメラベースのシステムが数多くあり、商用製品にもあります」と彼は言いました。 「しかし、誰もがウェアラブルのカメラであなたとあなたの周囲を常に撮影できることを望んでいるわけではありません。」
李氏は「GazeTrak: ガラス フレーム上での音響ベースのアイ トラッキングの探索」は、9 月 30 日から 10 月 4 日まで開催されるモバイル コンピューティングおよびネットワーキングに関する年次国際会議 (MobiCom’24) で発表されました。
「VR/AR ヘッドセットが大幅に小型化し、最終的には今日のスマートグラスと同様になるにつれて、ビデオを使用するシステムに関連するプライバシーの懸念はますます重要になるでしょう」と共著者は述べています。 フランソワ・ガンブルティエール、コーネル バウワーズ CIS およびマルチカレッジのデザイン テック学部の情報科学教授。 「どちらのテクノロジーも非常に小型で電力効率が高いため、軽量でスマートな AR グラスに最適です。」
GazeTrak の場合、研究者らは 1 つのスピーカーと 4 つのマイクをメガネの各目のフレームの内側に配置し、眼球と目の周囲からの音波を反射して拾いました。 結果として得られる音声信号は、人工知能を使用して人の視線の方向を継続的に推測する、カスタマイズされた深層学習パイプラインに供給されます。
GazeTrak は、カメラに依存する最先端の視線追跡技術ほどにはまだ機能しませんが、新しいデバイスは音声信号も有効であるという概念を実証しています。 研究者らは、さらに最適化を進めれば、同じ精度を達成し、必要なスピーカーとマイクの数を減らすことができると考えています。
EyeEcho の場合、1 つのスピーカーと 1 つのマイクがメガネのヒンジの隣に配置され、顔の表情の変化に応じた皮膚の動きを捉えるために下向きに配置されています。 反射された信号も AI を使用して解釈されます。
このテクノロジーを使用すると、騒がしいカフェや路上でも、ユーザーはアバターを介してハンズフリーのビデオ通話を行うことができます。 一部のスマートグラスには顔を認識したり、いくつかの特定の表情を区別したりする機能がありますが、現時点では EyeEcho のように継続的に表情を追跡するものはありません。
リーはこの作品を発表します。EyeEcho: メガネ上で継続的かつ低出力の表情追跡」は、5 月 11 ～ 16 日に開催されたコンピューティング機械協会 (ACM) のコンピューティング システムにおけるヒューマン ファクターに関する CHI カンファレンス (CHI’24) で発表されました。
これら 2 つの進歩には、人の VR 体験を強化する以上の用途があります。 GazeTrak をスクリーン リーダーと併用すると、弱視の人が Web サイトを閲覧するときにテキストの一部を読み上げることができます。
GazeTrak と EyeEcho は、アルツハイマー病やパーキンソン病などの神経変性疾患の診断や監視にも役立つ可能性があります。 このような状態では、患者の目の動きが異常で、顔の表情が鈍くなることが多く、この種の技術を使えば、患者の自宅に居ながら病気の進行を追跡できる可能性がある。
複数のコーネル大学の研究者もこの研究に貢献しており、その中には情報科学分野の博士課程の学生である Ruidong Zhang、Mose Saketa、Saif Mahmud も含まれます。 ジェームス・チェン 24 年、ショーン・チェン 24 年、ケニー・リャン 24 年。 そしてエディンバラ大学の修士課程の学生、Sicheng ying 氏。
この研究は、米国科学財団と IGNITE イノベーション アクセラレーション プログラムによって支援されています。
パトリシア・ウォルドロンは、コーネル・アン・S・バウワーズ・カレッジ・オブ・コンピューティングおよび情報科学のライターです。
#スマートグラス上のAI搭載ソナーが視線と表情を追跡