デスクトップ上の AI、しかし完全ではない: Copilot が AI PC でまだ完全に普及しない理由

Microsoft、Intel、AMDなどの大手チップメーカーは、Windowsの今後のAI機能に向けた「AI PC」をここしばらく宣伝してきた。 Microsft から詳細が明らかになっていない中、Intel は重要な要件を明らかにしました。それは、AI PC には Microsoft の Copilot キーが必要であるということです。

Intel の最近の声明によると、Microsoft の Copilot AI サービスは、パーソナル コンピュータ上でローカルに実行できるようになると予想されています。 トムのハードウェア。

次世代の AI PC には、40 TOPS (1 秒あたり 1 兆回の演算) を超える強力な内蔵ニューラル プロセッシング ユニット (NPU) が必要になります。 この処理能力は、現在の消費者向けプロセッサを上回ります。

最新の Windows バージョンは、専用の Copilot キーと 1 秒あたり 40 兆オペレーションを超える NPU を備えており、お使いのマシン上で Microsoft Copilot のほぼローカルなエクスペリエンスを提供します。 台北で最近終了した AI サミットで、Intel は Windows ベースの AI モデルに対する Microsoft の要件を正式に明らかにしました。

大規模言語モデル (LLM) をローカルで実行すると、ユーザーに顕著な利点がもたらされます。 クエリがリモート データ センターをバイパスするため、待ち時間が短くなり、応答時間が短縮されます。 さらに、ローカル処理によりプライバシーが強化される可能性があります。

Microsoft にとって、AI ワークロードの一部をユーザー デバイスに移すことで、リソースが解放されます。 これにより、レドモンドを拠点とするテクノロジー大手は、次の OpenAI モデルのトレーニングや、Copilot をクラウド API として拡張するなどのタスクに集中できるようになります。

最近のサミットでの Intel 幹部のコメントに基づいて、Microsoft は Copilot の LLM が Windows AI PC 内の NPU 上で完全に機能する未来を目指しています。 ソフトウェアメーカーは、MicrosoftのAIをローカルで処理するためのプロセッサーの能力を強調して、NPUの機能を大幅に宣伝することを期待しています。

Azure のクラウド インフラストラクチャから独立して Copilot を実行できるという見通しに魅力を感じる人もいますが、物議を醸しているインターフェイスとリアルタイム機能の必要性により、当面はクラウド処理を継続することが必要になる可能性があります。 したがって、少なくとも現時点では、Microsoft の AI アシスタントは AI PC 上で完全には動作しないと言っても過言ではありません。

Intel によると、将来のハードウェアの進歩により、より多くの Copilot 機能がデバイス上でローカルに実行できるようになります。 ただし、一部の機能はネットワーク接続に依存し、残りは AI PC が処理します。 また、報道によると、Copilot を早期に導入した一部のユーザーが次のように述べていることも注目に値します。 騙されたと感じる AI アシスタントの不正確な応答が原因です。

ローカル処理の制限は、約 1 兆 7,000 億個のパラメーターがあると推定される OpenAI の GPT-4 のような AI モデルのサイズが膨大であることに起因しています。 最適化技術にもかかわらず、有限のリソースを使用して AI PC 上でこのようなモデルをローカルで実行するには、大量のメモリが必要となり、おそらく 900GB を超える可能性があります。

ハードウェアのハードルと AI PC の将来

新しい「スプリット ブレイン」 PC には完全に独立した AI 機能はまだ期待できません。 Copilot キーの統合は一歩前進ですが、現在のハードウェアには高度な AI モデルを完全にオフラインで実行するのに十分な処理能力がありません。

Microsoft の新時代の AI PC には Copilot キーが必要になると Intel が語る💥💥💥

テクノロジーがどのように進歩し、AIが私たちの日常生活にどのように統合されていくかを見るのはとても興味深いことです。 今後どうなるか楽しみです! 😄👍#マイクロソフト #AIガール pic.twitter.com/FLcStTndU4

— 情報技術 (@Information5Tec) 2024 年 3 月 27 日

NPU は、x86 プロセッサ内の比較的新しいテクノロジーです。 さらに、現在のオプションには、高度な AI モデルを完全にローカルで実行するために必要な処理能力が不足しています。 AMD は、2023 年初めに発売された Ryzen 7040 シリーズとのモバイル プロセッサへの統合を先駆けて行いました。

AMDは2023年12月にRyzen 7040モバイルシリーズのクロック速度を向上させることでパフォーマンスの制限に対処しました。 同社はまた、2024 年 1 月の CES での 8000G デスクトップ APU の発表で NPU を導入し、NPU の採用を拡大しました。

インテルは 伝えられるところによると Microsoft と OpenAI の AI の優位性と競合するために、ChatGPT のようなアプリを開発しています。 12 月下旬、Intel は Meteor Lake マイクロプロセッサ部品の発売に伴い、専用の AI アクセラレータ ブロックを発表しました。

Intel の Core Ultra チップは、Movidius VPU のテクノロジーを活用し、多様な AI ワークロードを処理するための専用 NPU を統合しています。 現行世代の AI PC プロセッサは通常、INT4 精度で 10 ～ 16 TOPS (1 秒あたり 1 兆回の演算) を実現しますが、Microsoft が想定する 40 TOPS の要件を満たしていません。

これは、市販されているほとんどの「AI PC」は、GPU による追加の処理能力に依存せずに、これらの要求を満たすのに苦労することを意味します。 Intel の Lunar Lake と AMD の Strix Point プロセッサの存在にもかかわらず、Qualcomm が短期的には最有力候補です。

カリフォルニアに本拠を置く半導体メーカーは、クアルコムのSnapdragon X Eliteモバイルプロセッサと45 TOPSの性能を持つNPUを搭載した新しいノートブックも2024年半ばに発売する予定だ。