1733671586
2024-12-08 14:04:00
低光量条件に対応するハンドマット
Apple の発明は、手を含む画像データを受信し、画像データ内の明るさを決定することを含む、光の条件に基づいて手のマットを管理することに関する。第１の画像データの明るさが明るさ閾値を満たす場合、画像データに対して手のマッティングを実行して画像データから手を抽出し、抽出された手に従って画像データを仮想コンテンツとブレンドする。第１の画像データの明るさが無効化閾値を満たす場合、手のマット化は無効化され、画像データは手を抽出することなく仮想コンテンツとブレンドされる。手の位置の別の表現が最終画像に示されています。
ユーザ固有の手メッシュおよび／またはユーザ固有の手テクスチャを取得することができる。 １つまたは複数の実施形態によれば、ユーザ固有の手メッシュおよび／またはユーザ固有の手テクスチャは、部分的に登録データに基づいて決定され得る。例えば、登録プロセスは、システムがユーザーの手の代表的なビューをキャプチャできるように、ユーザーの手の登録を促すことを含み、そこからユーザーに特有の形状および質感を決定することができる。その後、そのテクスチャとジオメトリを再試行し、現在のユーザー固有のメッシュとテクスチャを決定するために使用できます。次に、フローチャートは任意選択でブロック７６５に進み、ここで、ユーザ固有の手メッシュおよび手のテクスチャを使用して手の仮想表現がレンダリングされる。ハンドトラッキングデータに従って。
Apple の特許図。以下の図８は、レンダリングされたハンドメッシュおよび仮想コンテンツを含む合成画像のビューの例示的な図を示す。イチジク。図９は、手の仮想表現および仮想コンテンツを含む合成画像のビューの例示的な図を示す。
Apple の特許図。上の図７Ｂは、ハンドメッシュを使用して、カメラによって捕捉された画像データを仮想コンテンツとブレンドするための例示的なフロー図を示している。詳細については、特許出願を確認してください 20240404186
合成された手のテクスチャ
この第 2 の Apple 発明は、3 次元 (3D) ユーザー表現の手と顔の間の肌の色合いを一致させるデバイス、システム、および方法を含むさまざまな実装に関するものです。
例えば、プロセスは、ユーザの手の少なくとも２つの異なる部分を表す色に対応する少なくとも２つの肌の色調を取得することができる。それに応じて、手の外観を表す色の空間的配置を表す手のテクスチャが決定される。手の質感は、少なくとも２つの肌の色調および手の質感のサンプルデータに基づいて決定され得る。このプロセスは、手の物理的属性に関連付けられた手の構造を決定することをさらに含むことができ、手の構造および手のテクスチャは、手の３Ｄ表現を生成する際に使用するために提供され得る。
Apple の特許図。以下のシステム例を示す。ユーザの手のひら側の肌の色調と手の甲側の肌の色調を、喜んだ顔のテクスチャおよびサンプルの手のテクスチャと組み合わせて使用して、合成された手のテクスチャを生成するシステムを示す。イチジク。ユーザー表現を生成するための登録プロセス中に、ニューラルネットワークを使用してユーザーの手の名目上の肌の色を推定する例示的なプロセスを示す。
Apple の特許図。上の図４は、ユーザの手および／または体の３Ｄ表現を提供する際に使用する手のテクスチャを決定する例示的な方法を示すフローチャートである。
詳細については、Apple の特許出願を参照してください。 20240404171
Apple は Vision Pro だけで 5,000 件以上の特許を申請しており、フルヘッドセットとスマートグラスの両方の将来の機能についても特許を申請し続けているため、それぞれを個別にカバーすることは不可能です。以下は、Apple の追加の 10 件の特許であり、エンジニアや Apple の HMD プロジェクトに興味のある人は、自由に検討できます。
- 20240406362 適応型仮想コンテンツ拡大率
- 20240406364 ヘッドマウントデバイスにコンテンツを記録する
- 20240398053 調節可能なヘッドバンド
- 20240406334 没入型表示による電子デバイスの色補正
- 20240402869 コンテンツのコラボレーションと共有のためのデバイス、方法、GUI
- 20240404210 拡張現実環境でのユーザー エクスペリエンス セッションのリマインダーを生成するための GUI
- 20240402800 3D 環境での入力認識
- 20240402394 レンズコーティング
- 20240402821 直接的および間接的なユーザーインタラクションの区別に基づく入力認識
- 20240404213 仮想カメラと物理カメラからの画像の合成
#Appleハンドマットと合成ハンドテクスチャに関連する #件の #HMD #特許とさまざまなテクノロジーに関するその他 #件の特許を申請