1729055511
2024-10-16 04:36:00
ノースウェスタン大学のエンジニアは、全身モーション キャプチャのための新しいシステムを開発しました。また、専用の部屋、高価な機器、かさばるカメラ、多数のセンサーは必要ありません。
代わりに、単純なモバイル デバイスが必要です。
MobilePoserと呼ばれるこの新しいシステムは、スマートフォン、スマートウォッチ、ワイヤレスイヤホンなどの消費者向けモバイルデバイスにすでに組み込まれているセンサーを活用しています。 MobilePoser は、センサー データ、機械学習、物理学を組み合わせて使用し、人の全身姿勢と空間内のグローバルな移動をリアルタイムで正確に追跡します。
「MobilePoser はモバイル デバイス上でリアルタイムで実行され、高度な機械学習と物理ベースの最適化を通じて最先端の精度を実現し、特殊な機器を必要とせずにゲーム、フィットネス、屋内ナビゲーションの新たな可能性を解き放ちます」とノースウェスタン社のカラン・アフージャ氏は述べています。研究を主導した人。
このテクノロジーはモバイル モーション キャプチャへの大きな飛躍を示し、没入型体験をよりアクセスしやすくし、さまざまな業界にわたる革新的なアプリケーションへの扉を開きます。」
カラン・アフジャ、ノースウェスタン大学
Ahuja 氏のチームは、10 月 15 日にピッツバーグで開催されるユーザー インターフェイス ソフトウェアおよびテクノロジーに関する 2024 ACM シンポジウムで MobilePoser を発表します。 「MobilePoser: モバイル消費者デバイスの IMU からのリアルタイム全身姿勢推定と 3D 人間による翻訳」は、「入力としてのポーズ」に関するセッションの一部として開催されます。
人間とコンピューターのインタラクションの専門家であるアフジャは、ノースウェスタン大学マコーミック工学大学院のコンピューター サイエンスのリサ ウィスナー スリヴカ助教授とベンジャミン スリヴカ助教授であり、そこでセンシング、知覚、インタラクティブ コンピューティングおよびエクスペリエンス (SPICE) ラボを指揮しています。
現在のシステムの限界
ほとんどの映画ファンは、舞台裏の映像で明らかにされるモーション キャプチャ技術に精通しています。 CGI キャラクターを作成するには -; 「ロード・オブ・ザ・リング」のゴラムや「アバター」のナヴィのように -;俳優たちは、センサーで覆われたぴったりとしたスーツを着て、特殊な部屋を歩き回ります。コンピュータがセンサーデータを取得し、俳優の動きや微妙な表情を表示します。
「これはモーション キャプチャのゴールド スタンダードですが、そのセットアップを実行するには 10 万ドル以上の費用がかかります」とアフージャ氏は言います。 「私たちは、基本的に誰もがすでに持っている機器で使用できる、アクセスしやすく民主化されたバージョンを開発したかったのです。」
たとえば、Microsoft Kinect などの他のモーション検知システムは、体の動きを観察する固定カメラに依存しています。人物がカメラの視野内にいる場合、これらのシステムはうまく機能します。しかし、モバイルや外出先でのアプリケーションには実用的ではありません。
ポーズを予測する
これらの制限を克服するために、Ahuja のチームは、センサーを組み合わせて使用するシステムである慣性測定ユニット (IMU) に注目しました。加速度計、ジャイロスコープ、磁力計 -;体の動きと方向を測定します。これらのセンサーはすでにスマートフォンやその他のデバイス内に組み込まれていますが、正確なモーション キャプチャ アプリケーションには忠実度が低すぎます。パフォーマンスを向上させるために、Ahuja 氏のチームはカスタム構築の多段階人工知能 (AI) アルゴリズムを追加しました。このアルゴリズムは、高品質のモーション キャプチャ データから生成された、公開されている合成 IMU 測定値の大規模なデータセットを使用してトレーニングされました。
MobilePoser はセンサー データを使用して、加速度と体の向きに関する情報を取得します。次に、このデータを AI アルゴリズムに入力し、関節の位置と関節の回転、歩行の速度と方向、ユーザーの足と地面の接触を推定します。
最後に、MobilePoser は物理ベースのオプティマイザーを使用して予測された動きを調整し、実際の体の動きと一致するようにします。たとえば、現実の生活では、関節を後方に曲げることはできず、頭を 360 度回転させることもできません。物理オプティマイザーは、キャプチャされたモーションが物理的に不可能な方法で移動できないことを保証します。
結果として得られるシステムの追跡誤差はわずか 8 ～ 10 センチメートルです。比較のために、Microsoft Kinect の追跡誤差は、ユーザーがカメラの視野内に留まっていると仮定した場合、4 ～ 5 センチメートルです。 MobilePoser を使用すると、ユーザーは自由にローミングできます。
「手首にスマートウォッチとポケットにスマートフォンを入れるなど、複数のデバイスを身に着けている場合、精度は向上します」とアフジャ氏は言う。 「しかし、このシステムの重要な部分は、適応性があるということです。ある日時計を持たず、携帯電話しか持っていないとしても、適応して全身の姿勢を把握することができます。」
潜在的な使用例
MobilePoser はゲーマーにより没入型のエクスペリエンスを提供できる一方で、新しいアプリは健康とフィットネスに対する新たな可能性も示します。単に歩数を数えるだけでなく、全身の姿勢を確認できるため、運動時のフォームが正しいかどうかを確認できます。新しいアプリは、医師が患者の可動性、活動レベル、歩行を分析するのにも役立つ可能性がある。アフジャ氏はまた、この技術が屋内ナビゲーションに使用できる可能性があると想像しています -;これは、屋外でのみ機能する GPS の現在の弱点です。
「現在、医師は患者の移動状況を歩数計で追跡しています」とアフジャ氏は語った。 「それはちょっと悲しいことですよね。私たちの携帯電話はローマの気温を計算できます。携帯電話は私たち自身の体についてよりも外の世界についてもっと知っています。私たちは携帯電話が単なるインテリジェントな歩数計以上のものになることを望んでいます。携帯電話は、次のことを検出できる必要があります。」さまざまなアクティビティでポーズを決め、より積極的なアシスタントになってください。」
他の研究者がこの研究に基づいて構築することを奨励するために、Ahuja のチームは、事前トレーニングされたモデル、データ前処理スクリプト、モデル トレーニング コードをオープンソース ソフトウェアとしてリリースしました。アフジャ氏はまた、このアプリはiPhone、AirPods、Apple Watchでも間もなく利用可能になる予定だと述べた。
#民生用デバイスを使用したリアルタイム全身モーション #キャプチャのための新しいシステム