AIはあなたの犬の写真をVRアバターに変えることができます

Facebookが企業名を正式にメタに変更してから4年近くが経過しました。これは、創設者のMark Zuckerbergから、完全に実現されたデジタル「Metaverse」が角を曲がったと約束しています。それ以来、バーチャルリアリティスペースのユーザーの採用が層になっており、Zuckerberg自身がAIコンパニオンとポッドキャストプレイのレイバンに焦点を移したようです。多くの人にとって、自宅のソファに座って犬を犬と一緒に座っているだけで、VRに滑るよりも魅力的なままです。

しかし、あなたの毛皮のような友人があなたに加わることができたらどうでしょうか？

韓国のウルサン国立科学技術研究所の研究者は、それを可能にする可能性のあるAIシステムを開発しました。彼らがDogreconと呼ばれるシステムを使用して、チームは犬の写真を1枚撮影し、仮想または拡張現実アプリケーションで使用できる現実的な3Dデジタルモデルに変換することができました。プライムタイムの準備ができていませんが、ドゥルコンのユニークな重み付けメカニズムは、類似のAIモデルと比較してより鋭く、よりリアルなレンダリングを生成するのに役立ちます。研究者は、彼らの発見をで共有しました コンピュータービジョンの国際ジャーナル。

このビデオでは、これらのAIに生成された3D犬が仮想環境にどのように登場するかの初期の例を示しています。左フレームでは、子犬のパック（緑の犬のブーティの波紋を含む）が裏庭の庭をゆっくりと行進します。右側では、2匹の犬がリビングルームの周りを歩いているのを見ることができます。 3D DOGアバターが生成されると、研究者は単純なテキストプロンプトを使用してそれらを制御できます。

「ペットを所有している世帯の4分の1が、人間に伝統的に焦点を合わせて3D再建技術を拡大することで、コンパニオンアニマルを含めることが目標となっています」と、第一著者のGyeongsu ChoはTech Xploreに送られた声明で述べました。 「Dogreconは、誰でもコンパニオンアニマルのデジタルバージョンを作成してアニメーション化できるツールを提供しています。」

研究者はすぐに対応しませんでした 人気のある科学 コメントのリクエスト。

[ Related: A furry antelope robot is keeping tabs on its organic cousins. ]

2D写真を3Dアバターに変換します

近年、仮想空間での人間のアバターのリアリズムを改善するためにかなりの進歩がなされてきましたが、私たちの毛皮のような仲間にはあまり注意が払われていません。チームによると、この理由の1つは、ペット（特に犬）が私たちよりも解剖学的に複雑であることです。犬には何百もの品種があり、それぞれがさまざまな形、サイズ、ユニークな物理的特徴を備えています。 Fidoの4本足のスタンスは、人間と比較してより頻繁な関節閉塞につながり、正確な3Dモデリングをより困難にします。

これらの余分な変数はすべて、デジタル空間で犬を生成するときにモデルがエラーを生成する機会を増やします。しかし、研究者は、仮想現実に適切にモデル化されたペットの欠如が、いわゆる「メタバース」の全体的な信ability性を制限すると主張しています。

「間違いなく、人間固有のアプローチは重要ですが、人間は実際の生物多様性のほんの一部にすぎません」と研究者は書いています。

チームは、最初に品種固有の統計的AIモデルを使用して、身体の形と姿勢の変動をキャプチャすることにより、これらの課題と戦おうとしました。次に、2番目の生成AIモデルを使用して、犬の体型と幾何学的に整合したままのマルチビュー画像を作成しました。これらの2つのステップを組み合わせることにより、システムは犬の単一の画像（この場合、インターネットから引っ張られた実際の画像）を採取し、AIモデルが犬がどのように異なる角度からどのように見えて移動するかを本質的に予測できるようにします。

AIの予測のすべてが、犬がどのように見えるべきかを正確に反映しているわけではありません。これに対処するために、研究者は自分のモデルに重み付けメカニズムを適用し、より現実的に見える出力に優先順位を付け、歪みや他の珍しいAI画像で一般的に見られる他の異常な視覚をフィルタリングしました。これに関連して、重み付けは、AI出力のパラメーターを設定して、望ましい結果に向かって操作するのに役立ちます。 Dogreconを画像からビデオを生成できる他のAIモデルと比較すると、システムがより解剖学的に正確な結果を一貫して生成することがわかりました。

それは結果が完璧だったと言っているわけではありません。 Dogreconによって作成された3Dモデルは、一般的に表現することを意図している犬の品種に似ていますが、VRおよびARの設定に示されているいくつかの例では、それらは幾分切断されて視覚的に不快に見えます。彼らの動きは、ボーダーコリーの楽な敏ility性と早期の硬いアニメーションに似ていません サウスパーク エピソード。

それでも、彼らが現れるかもしれない初歩的な人たちは、このようなツールは、次のデジタルアドベンチャーで子犬を連れてきたいVRユーザーに歓迎できると言います。本物の犬に関しては、彼らはまだソファでぶらぶらしています。

その他の取引、レビュー、および購入ガイド

POPSCIチームは何百もの製品をテストし、購入できる最高のギアとガジェットを見つけようとして数千時間を費やしました。