3D ビデオ会議ツールにより、リモート ユーザーがビューを制御できるようになります

2 人が同じ部屋にいないときに物理的なオブジェクトで共同作業するのは非常に困難な場合がありますが、新しいリモート会議システムを使用すると、リモート ユーザーは 3D でシーンのビューを操作し、複雑なハードウェアのデバッグなどの複雑なタスクを支援できます。

SharedNeRF と呼ばれるこのシステムは、2 つのグラフィック レンダリング技術 (低速でフォトリアリスティックな技術、もう 1 つは即時的だが精度に劣る技術) を組み合わせて、リモート ユーザーが共同作業者の物理空間を体験できるようにします。

「これは パラダイムシフト」とシステムを開発した情報科学分野の博士課程学生モセ・サカシタ氏は語ります。

「これにより、人々はこれまで不可能だったタスクや、ビデオ ベースのシステムでは 1 つの角度だけで伝えるのが非常に困難なタスクに取り組むことができるようになります。」

坂下氏は、2023 年にマイクロソフトのインターンとして、コーネル大学でコンピュータ サイエンスを専攻していた 93 年のアンドリュー ウィルソン氏と協力して、このリモート会議ツールを設計しました。 坂下が作品を発表します。」SharedNeRF: リアルタイムおよびリモート コラボレーションのためのフォトリアリスティックなビュー依存レンダリングの活用」、5 月 16 日にコンピューティング機械協会 (ACM) のコンピューティング システムにおけるヒューマン ファクターに関する CHI 会議 (CHI’24) で発表されました。この論文は佳作を受賞しました。

「キッチンの蛇口の修理や回路の組み立てなど、物理的な物体を扱う作業を行う場合、今日のビデオ会議システムはかなり扱いにくいです」とウィルソン氏は言う。 「最近、イノベーションが爆発的に起こっています。 コンピューターグラフィックス そしてレンダリング技術。 SharedNeRF は、これらの技術を使用して、しゃべる相手以上のものを表示するときに発生する問題に対処する最初の研究の 1 つです。」

坂下の卒業研究はフランソワ・ガンブルティエール教授の研究室で行われました。 インフォメーション・サイエンス コーネル大学アン S. バウワーズ コンピューティングおよび情報科学大学と複合大学のデザイン技術学科で、リモート コラボレーションをサポートする新しいテクノロジーの開発に重点を置いています。

SharedNeRF は、Neural Radiance Field (NeRF) と呼ばれるグラフィックス レンダリング方法を採用することで、リモート コラボレーションに新しいアプローチを採用しています。 NeRF が使用するもの 人工知能 の 3D 表現を構築するには シーン 2D画像を使用します。 反射、透明なオブジェクト、正確なテクスチャを備えた信じられないほどリアルな描写が作成され、どの方向からでも見ることができます。

SharedNeRF システムでは、ローカルの協力者はヘッドマウント カメラを装着して現場を記録します。 結果として得られる画像は NeRF ディープ ラーニング モデルに入力され、リモート コラボレータが必要に応じて視点を回転できるようにシーンを 3D でレンダリングします。

シーンが変化すると、NeRF モデルがトリガーされてビューが更新されます。 ただし、この更新には時間がかかります (約 15 秒)。そのため、坂下氏のチームは、NeRF によって作成された詳細なビジュアルと、より高速なテクノロジである点群レンダリングを統合しました。

ヘッドマウント カメラと、色と深度を検出する 2 台目の RGB-D カメラがユーザーの反対側に設置され、空間内の点の集合としてシーンをキャプチャします。 この方法では、手の動きなど、シーンの動的な部分を迅速に伝えることができます。

2 つのレンダリング技術を結合することにより、リモート ユーザーは、NeRF を介してさまざまな角度からシーンを高品質で表示しながら、 リアルタイム 点群を介したシーン内の動き。

SharedNeRF はローカル コラボレーターの頭のアバターも表示するため、リモート ユーザーは自分がどこを見ているのかを確認できます。

7 人のボランティアが、パートナーと共同でフラワーアレンジメント プロジェクトを実行することで SharedNeRF をテストしました。 標準のビデオ会議ツール、または点群レンダリングだけと比較した場合、ボランティアのうち 5 人が SharedNeRF を好みました。 このシステムのおかげでデザインの詳細を確認できるようになり、表示されている内容をより適切に制御できるようになったという点で全員が同意しました。

「人々は視点を自主的に変更できることを非常に高く評価していることがわかりました」と坂下氏は語った。 また、フラワーアレンジメントをズームインしたりズームアウトしたりできることや、どの景色を見たいかを地元の協力者に説明する必要がないことを多くの人が喜んでいました。

現在、SharedNeRF は 1 対 1 のコラボレーション専用に設計されていますが、研究者らは、これを複数のユーザーに拡張できると想定しています。 このテクノロジーは、教育デモンストレーションや手術などのイベントを記録およびアーカイブするためにも使用でき、学生がさまざまな角度から再視聴できるようになります。

坂下氏は、画質を改善し、仮想現実や拡張現実技術を通じてより没入型の体験を提供するには、今後の取り組みが必要になるだろうと述べた。