Appleの新しいAI技術はカメラを使わずに手の動きを読み取る

デジタル環境とユーザーのインタラクションは劇的に変化しています。最近発表された調査データによると、Apple 開発が進む ウェアラブル デバイスのセンサーからのデータのみを使用して、まったく新しいジェスチャの認識を可能にする高度な人工知能システムです。

この特定のもの テクノロジー カメラによる視覚的記録の必要性を完全に回避し、代わりに人間の手の筋肉活動と生体力学の分析に焦点を当てます。

Apple の新しいジェスチャ認識システムはどのように機能しますか?

新しい AI Apple のモデルは、ウェアラブル デバイスのセンサーを使用して、筋肉の信号と手首の微小な動きを記録します。カメラを介したアイコンタクトを必要とせず、システムはテレメトリデータをリアルタイムで処理するため、新しいジェスチャを正確に認識し、処理能力を拡張できます。

彼女のアプローチ りんご 従来の機械学習モデルとは大きく異なります。通常、システムがジェスチャ (「ピンチ」や「スワイプ」など) を認識するには、その正確な動きを表す何千時間ものデータを供給する必要があります。しかし、同社の研究者らは一般化されたモデルを作成することに重点を置いた。深層学習アルゴリズムを活用することで、システムは「未知の」ジェスチャーを解釈して分類できるようになりました。 AI は手の基本的な運動学を理解し、その動きが元のトレーニング データセットに存在するかどうかに関係なく、筋肉の収縮の組み合わせをデジタル コマンドに変換します。

視覚的記録から生体測定テレメトリへの移行

現在の空間コンピューティング システムの制限: アップルビジョンプロ、光学センサーへの依存にあります。コマンドを記録するには、ユーザーの手が必ずデバイスのカメラの視野内にある必要があります。この状態では、ユーザーは手を特定の角度に保つ必要があるため、疲労を引き起こすことがよくあります。

認識負荷を手首レベルに移すことで、この製造上のハードルが解決されます。 Apple Watch のようなウェアラブル デバイスは、高精度の慣性測定ユニット (IMU、加速度計とジャイロスコープ) とおそらく新しい筋電図 (EMG) センサーを介して、脳が筋肉に電気信号を送信した瞬間に運動の意図を検出できます。これは実質的に、ユーザーがポケットに手を入れたり、テーブルの下に置いたり、激しい運動中に手を入れた状態でも Apple エコシステムと対話できることを意味します。

非構造化データ分析における課題

このようなシステムの技術的な実装には大きな困難が伴います。各ユーザーの解剖学的構造 (筋肉量、脂肪率、腱の構造) は独特であるため、均一な信号受信は非常に複雑になります。これはまさに、Apple が開発している機械学習の力が発揮されるところです。

• AI は、意図した動き (信号) を不随意の微小な動きや環境振動 (ノイズ) から分離します。
• ソフトウェアはバックグラウンドで常に調整され、各ユーザーの個人的な運動の「フットプリント」を学習します。
• ユーザーエクスペリエンスを破壊する遅延（レイテンシー）を避けるため、生体認証データのプライバシーを確保しながら、ニューラルネットワークの処理はApple Siliconシリーズのプロセッサー（NPU/Neural Engine）を介してローカルで実行されます（Edge AI）。