1710443115
2024-03-14 18:56:14
Nvidia GTC に近づくにつれて、街に別のプレーヤーがいることに注目する価値があります。 あるいは街の南、サンディエゴではクアルコム。 同社は 10 年以上にわたって AI の専門知識とテクノロジーを構築しており、AI ハードウェアとソフトウェアの両方でモバイルのライバルに対する同社のリードは大きいと考えています。 同社は、コア AI アクセラレータ技術を共有する幅広い SoC ファミリを持っています。 スナップドラゴン X エリート、モバイル向けにはSnapdragon 8 Gen 3、データセンターAI向けにはCloud AI100 Ultraです。
私が初めて Qualcomm AI に興味を持ったのは、2017 年にサンフランシスコで同社が後援した昼食会でした。エンジニアたちは、モバイル用 Snapdragon 上の AI と、わずか 400 TOPS を誇る CloudAI 100 についての両方について、心から興奮しているようでした。 2020 年に発売されたときの消費電力は 75 ワットでした。これは、低電力で驚くべき量の AI パフォーマンスです。 実際、同社は依然として市場のリーダーです。 Qualcomm が現在、エッジでの推論処理においてポールポジションを獲得していると考えられる理由を見てみましょう。
クアルコムがエッジ AI 分野でリーダーシップを発揮できる理由
私は最近、クアルコムの製品マーケティング担当副社長であるジアド・アスガー氏とクアルコムの AI 戦略と製品について話し合いました。 クアルコムは、現在クラウド上で行われている AI 推論の多くがエッジデバイスに移行すると考えています。 結局のところ、エッジ デバイスに作業を実行するのに十分な処理能力とメモリがある場合、すでに所有しているデバイスでジョブを実行できるのに、なぜ CSP のインフラストラクチャに時間を支払う必要があるのでしょうか。 無料ですよね？ さらに、Ziad は、現在 Azure クラウド経由でのみ利用可能な Microsoft Co-Pilot などの AI アプリが、最終的にはデバイス上で実行されるようになるだろうとさえ予測しました。
しかし、大規模な言語モデルを携帯電話や車載 SoC 上で実行できるようにすることは、単純にコンパイルして実行するだけでは済みません。 モデルのサイズをメモリに収まるように縮小する必要があります (量子化)。 パフォーマンスを向上させるには、ネットワークをプルーニングする必要があります (ハーベスト スパース性)。 圧縮を使用すると、ネットワーク サイズをさらに縮小できます (MX6 圧縮)。 また、投機的デコードなどの新しい技術では、2 つの LLM を並行して使用することで、テキストを作成する時間を短縮できます。 考えられる答えを生成するための高速なものと、その答えを確認するためのより完全なものです。 これらはすべて、Qualcomm が Snapdragon および Cloud AI100 上で研究および展開している領域です。
X Elite は、ラップトップ Windows PC 用に設計されています。
クアルコム
全体として、クアルコムがエッジ AI の黎明期において有利な立場にある理由をいくつか挙げます。
スナップドラゴンのパフォーマンス
しかし、まずはパフォーマンスから始めましょう。 優れたパフォーマンスは AI への取り組みの始まりにすぎませんが、パフォーマンスがなければどこにも進みません。
トムのハードウェア そして Wccftech は シングルスレッド、マルチスレッドの CPU タスク、および AI ワークロードにおける Snapdragon X Elite のパフォーマンスを示すベンチマークについて説明した公開記事 (以下のリンク)。 MLPerf ベンチマークが近々公開されることを期待しています。
いくつかの重要なポイントを次に示します。
- AI パフォーマンス: Snapdragon X Elite の Hexagon NPU は 45 TOPS (テラ演算/秒) のパフォーマンスを誇り、クアルコムのベンチマークによると、AI 推論において Intel および AMD の製品を上回ります。Snapdragon X Elite の NPU は、UL を使用した AI 推論タスクにおいて Intel チップを大幅に上回ります。プロキオンベンチマーク
- CPU パフォーマンス: Snapdragon X Elite は、Geekbench や Cinebench などのベンチマークで、Intel Core i7 および AMD Ryzen チップに対して競争力のある CPU パフォーマンスも実証しています。 Apple M3 に対して、X Elite は 21% 高速であることが測定されました。
- Cloud AI 100 のパフォーマンスと電力効率は、Amazon AWS、HP Enterprise、Dell、Lenovo など、低コストと低消費電力で推論処理を実行したいパートナーを魅了しています。 Wafer Scale Engine 3の発明者であるCerebras氏は、 今週発表されました 彼らもクアルコムと提携し、顧客のためにこのプラットフォームを使用することで 10 倍のコストメリットを実現していると述べています。
- X Elite は、2021 年に Qualcomm が買収した Nuvia によって設計されたまったく新しいコアを使用していることに注目してください。この新しいコアは、将来のデータセンターやモバイル デバイスで間もなく使用されると予想されます。 また、X Elite は AI PC の時代には優れたチップではあるものの、Windows アプリケーションにはソフトウェア上で登るべき大きな坂があることも指摘しておく必要があります。
主要なサーバー OEM によってサポートされています。Qualcomm
XDA DevelopersSnapdragon X Elite vs Intel Core Ultra 7 155H: ベンチマークを実行しました
Tom’s HardwareEarly Snapdragon X Elite ベンチマークは、Arm CPU が AMD のトップエンド モバイル APU よりも高速であることを示しています
AIソフトウェア
Qualcomm AI Hub は、Qualcomm の Snapdragon およびその他のプラットフォームを搭載したデバイスを開発する開発者向けに特別に設計されたリソースです。 開発者がオンデバイス AI 開発ツールにアクセスして利用するための中心的な場所として機能します。 主な機能の内訳は次のとおりです。
- AIモデルライブラリ: このハブは、75 を超える事前に最適化された AI モデルのコレクションを提供します。 これらのモデルは、画像認識、物体検出、音声処理などのさまざまなタスクをカバーします。 開発者はこれらのモデルをアプリケーションに簡単に統合でき、開発時間と労力を削減できます。
- オンデバイス AI に焦点を当てる: AI ハブはオンデバイス AI を重視しており、AI 処理はクラウドに依存するのではなく、デバイス自体で直接行われます。 このアプローチには、応答時間の短縮、プライバシーの向上、インターネット接続への依存度の低下などの利点があります。
- パフォーマンスのための事前最適化: ハブで提供される AI モデルは、Qualcomm プロセッサーで効率的に動作するように特に最適化されています。 この最適化により、スムーズなパフォーマンスとデバイス リソースの効率的な使用が保証されます。
- アクセシビリティ: Qualcomm AI Hub により、これらのモデルは独自のプラットフォーム以外にも複数のプラットフォームで利用できるようになります。 開発者は、Qualcomm AI Hub 自体、Hugging Face、GitHub でそれらを見つけることができます。
クアルコム AI ハブ
クアルコム
全体として、Qualcomm AI Hub は、オンデバイス AI 向けに調整された事前に最適化されたモデルとリソースを提供することで、Qualcomm Snapdragon およびその他のプラットフォームで実行されるデバイス向けの AI 搭載アプリケーションの開発を簡素化し、加速することを目的としています。
結論
クアルコムは進化を続ける中、AI が将来の核となる差別化要因になると考えています。 AI は、写真撮影からパーソナライズされた生産性サービスに至るまで、あらゆるものに役立ちます。 クアルコムは、長期的なイノベーションのための独自の社内研究組織と、計画を確実に実行する SoC チームを擁し、エッジ AI ハードウェアおよびソフトウェアをリードする予定です。 AMDとIntelはモバイル分野には参加しておらず、AppleはAI革命がすでに進行していることにも気づいていないようだ。
クアルコムは、X Elite 上の Windows に最適なエコシステム戦略を開発して実行する必要がありますが、マイクロソフトが支援します。 少なくとも長時間にわたってアプリケーションをエミュレーション モードで実行したい人はいません。
データセンター AI では Nvidia が圧倒的なリーダーですが、多くの取り組みが行われているエッジでは Qualcomm が主導的な立場にあると考えています。 そして、エッジ上の AI の価値を実証するために、いくつかの非常に優れた携帯電話がすでに市場に出ています。
フォローしてください ツイッター または リンクトイン。 私のものをチェックしてください Webサイト。
開示: この記事は著者の意見を表明したものであり、
記載されている企業から購入または投資するためのアドバイスとして受け取られるべきではありません。 Cambrian AI Research は幸運なことに、ほとんどではないにしても、Blaize、BrainChip、CadenceDesign、Cerebras、D-Matrix、Eliyan、Esperanto、FuriosaAI、Graphcore、GML、IBM、Intel、Mythic、NVIDIA、などの半導体企業を顧客として迎えています。 Qualcomm Technologies、Si-Five、SiMa.ai、Synopsys、Ventana Microsystems、Tenstorrent、および多数の投資顧客。 当社はこの記事で言及されているどの企業にも投資ポジションを持っておらず、近い将来に投資を開始する予定もありません。 詳細については、次の Web サイトをご覧ください。 https://cambrian-AI.com。
私は、テクノロジーにおける次の目玉である人工知能を可能にするために構築されている素晴らしいハードウェアとサービスを学び、共有するのが大好きです。
続きを読むもっと少なく読む
#クアルコムはモバイル #の巨人になる