1716126365
2024-05-19 13:36:54
Apple が 2018 年に Memoji を導入したとき、ユーザーが認識する性格や気分に合わせて、メッセージや FaceTime で送信できるパーソナライズされたアバターを作成する方法が提供されました。 次に、Vision Pro によるユーザーの「ペルソナ」の作成が登場し、デジタル世界でユーザーの似姿を作成する際に驚くべき進歩がもたらされました。
WWDC23 基調講演の一節で、テクノロジー開発グループ副社長のマイク ロックウェル氏は次のように述べています。「FaceTime のようなデジタル コミュニケーションの場合、Vision Pro はユーザーの目だけを伝えるだけでなく、ユーザーの本物の表現を作成します。これは私たちが直面した最も困難な課題の 1 つでした」 Apple Vision Pro の構築では、ビデオ会議カメラがあなたを見つめているわけではありません。たとえあったとしても、最先端の機械学習技術を使用して、簡単な登録プロセスを経て、新しいソリューションを作成しました。 Vision Pro のフロント センサーでは、システムは高度なエンコーダー/デコーダー ニューラル ネットワークを使用してデジタル ペルソナを作成します。このネットワークは、数千人の多様な個人のグループでトレーニングされ、顔と手の動きに動的に一致する自然な表現を提供します。ペルソナを使用すると、10 億を超える FaceTime 対応デバイスと通信でき、別の Vision Pro で見ると、従来のビデオでは不可能なボリュームと奥行きが得られます。
先週、米国特許商標庁は、Vision Pro ヘッドセット用の現実的なペルソナの作成に関するロックウェル氏の記述に関連する特許を Apple に正式に認めた。 この特定の取得された特許において、Apple はユーザーの毛髪データのリアルなレンダリングに焦点を当てています。
Apple は特許の背景の中で、以前に利用可能なヘアレンダリング方法にはさまざまな欠点があったと指摘しています。 たとえば、ヘア カード データに基づくレンダリングは、対応するヘア テクスチャのサイズが比較的大きいことと、ヘア テクスチャの変換に関連する複雑さのため、計算コストが高くなります。 別の例として、髪束データに基づくレンダリングは、エイリアシングと髪束の変形の問題に関連しています。
プロジェクションベースのヘアレンダリング
Apple の発明は、ヘア メッシュへの投影に基づいて、対応するレンダリング サイクルにわたってヘア テクスチャを動的に生成する方法、システム、および電子デバイスに関するものです。 ヘア メッシュは、コンピュータで生成されたペルソナなどの仮想エージェントに関連付けられます。
たとえば、ヘア メッシュは、仮想エージェントの 3 次元 (3D) 顔表現に関連付けられた 2 次元 (2D) UV マップに対応します。 この方法は、投影の対応する部分に基づいて髪のテクスチャを生成するために、複数の髪束のサブセットをレンダリングすることを含む。 複数の毛髪は、ヘアカーブデータによって表される。
したがって、この付与された特許に記載されているさまざまな実装には、髪束を事前に投影する（たとえばレンダリング前）ことと、所望の髪のテクスチャを選択的に生成するためにレンダリング時に投影の一部を使用することが含まれる。
たとえば、ある方法には、1,000 本の髪束をヘア メッシュに投影することが含まれます。 この例を続けると、最初のレンダリング サイクル中に、この方法には、ヘア メッシュへの (1,000 本のうち) 900 本の髪束の投影に基づいて高解像度のヘア テクスチャを生成することが含まれ、2 番目のレンダリング サイクル中に、この方法には、より低い解像度を生成することが含まれます。ヘア メッシュへの (1,000 本のうち) 500 本の髪の毛の投影に基づくヘア テクスチャ。
レンダリング サイクル全体でヘア テクスチャを選択的に生成すると、ヘア カード レンダリング メソッドに関連する豊かなヘア テクスチャの生成を可能にしながら、ヘア ストランド レンダリング メソッドに関連するエイリアシング/変形の問題を回避できます。 さらに、この方法は、表示用のディスプレイレンダリングを生成するために、仮想エージェントに関連して生成されたヘアテクスチャをレンダリングすることを含む。
Apple はさらに、XR 環境には拡張現実 (AR) コンテンツ、複合現実 (MR) コンテンツ、仮想現実 (VR) コンテンツなどが含まれる可能性があると述べています。 XR システムを使用すると、人の物理的な動作のサブセット、またはその表現が追跡され、それに応じて、XR 環境でシミュレートされた 1 つまたは複数の仮想オブジェクトの 1 つまたは複数の特性が、少なくとも以下に適合する方法で調整されます。物理法則の一つ。 一例として、ＸＲシステムは、頭の動きを検出し、それに応じて、物理的環境においてそのような視界や音がどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツおよび音場を調整することができる。
Apple の特許では、FIG. 以下の図２Ａでは、複数の毛髪ストランド＃２００が、第１の毛髪ストランド＃２００−１、第２の毛髪ストランド＃２００−２、． 。 。 、オプションで N 番目の髪束 #200-N まで。 複数の毛髪束は、毛髪束データなどの毛髪曲線データ内で表される。 毛髪曲線データは、アルベド、タンジェント、IDなどの様々なテクスチャ値を示すことができる。複数の毛髪束200のそれぞれは、複数の毛髪点をそれぞれ含む。 イチジク。 2B 仮想エージェント２１０の一部は、顔の顎および上唇領域を含む人の顔の一部の三次元（３Ｄ）表現に対応する。 仮想エージェント２１０は、ディスプレイ上に表示するためにレンダリングされるコンピュータ生成オブジェクトまたはコンピュータ生成モデルに対応し得る。 例えば、電子デバイスは、仮想エージェント２１０をレンダリングし（例えば、グラフィックス処理ユニット（ＧＰＵ）を介して）、そのレンダリング（例えば、仮想エージェントのビデオフレーム）を拡張現実（ＸＲ）環境の一部として表示する。 電子デバイスがＸＲ環境に対して位置を変えると（例えば、ＸＲ環境の軸に沿って回転または移動する）、電子デバイスは位置の変化を考慮してレンダリングを更新する。 イチジク。 2C ヘアメッシュ２２０は、髪を追加できる髪領域２２２ａと、髪を追加できない非髪領域（例えば、口）２２２ｂとを含む。 ヘアメッシュ２２０は、ヘアでテクスチャ化されていない。 例えば、ヘアメッシュ２２０は、ヘアカードデータ内で示されるヘアシェルに対応する。 別の例として、ヘアメッシュ２２０は二次元（２Ｄ）ＵＶマップに対応する。
Apple の特許図。 3 以下は、いくつかの実装形態に従って髪のテクスチャを生成するために、複数の髪束を髪のメッシュに投影するためのシステム＃３００のブロック図の例である。
詳細については、2024 年 5 月 14 日に公開された Apple の付与特許 11983810 を参照してください。 主な発明者は、VR/AR、コンピュータ グラフィックス、およびゲーム開発を専門とする AR/VR グラフィックスのシニア ソフトウェア エンジニアである Mariano Merchante としてリストされています。
#Apple #は髪の毛の生成を含む #Apple #Vision #Pro #でリアルな仮想ペルソナを作成する #つの側面に関する特許を取得しました