世界

アームスケーラブルマトリックスエクステンション2 Androidに来て、デバイス上のAIを加速する

で利用可能 ARMV9-Aアーキテクチャ、ARMスケーラブルマトリックス拡張2（SME2）は、マトリックスの重い計算を加速するように設計された一連の高度なCPU命令です。新しいARMテクノロジーは、モバイル開発者を支援することを目指しています 高度なAIモデルをCPUで直接実行します アプリに変更を必要とせずに、パフォーマンスと効率が向上しました。 SME2のパフォーマンスの利点はすでに利用可能です 最新のiOSデバイスとApple M4シリーズチップ、彼らはまもなくAndroidデバイスにも到達するだろう、とAREのAIおよび開発者プラットフォームとサービスの副社長であるAlex Spinelliは言います。 マトリックスワークフローは、画像や言語処理や音声生成などのリアルタイムモバイル推論タスクの重要です。特に、SME2対応と非SME2対応のワークフローの比較は、大幅な改善を示しています、とARMは言います。 SME2対応のハードウェアでは、GoogleのGemma 3モデルは6倍高速なチャット応答を提供し、単一のCPUコアで1秒未満で最大800語の要約を開始できます。 同様に、a 2.6xスピードアップが測定されました 3.8BパラメーターPHI-3ミニモデルを実行しているVivo X200 Proフラッグシップスマートフォンでの迅速な処理用。 開発者がSME2を利用できるようにするために、ARMは呼ばれるライブラリを提供します はしご、Googleのxnnpackに統合されています。 Xnnpackは、AlibabaのMNN、Google's Litert、MicrosoftのONNXランタイム、llama.cppなど、いくつかの機械学習とAIフレームワークを強化します。 SME2が有効になって互換性がある場合、XnnPackはKleidiaiを介してMatrix Heavy操作をSME2に自動的にルーティングするため、開発者はアプリケーションロジックまたはインフラストラクチャに変更が必要ない場合に直接利益を得ます。 Kleidiaiは、CおよびC ++コードベースに簡単に統合するように設計されています。 マイクロカーネル ベースのアーキテクチャ。 アームの用語のマイクロカーネルは、たとえばパッキングやマトリックスの乗算など、「特定のMLオペレーターを高性能で加速するための最小量のソフトウェア」を指します。マイクロカーネルが単なる関数ではない理由を説明するための重要な詳細は、各マイクロカーネルが出力テンソルの一部のみを処理し、完全操作を複数のスレッドに派遣できるようにすることです。 さらに、Kleidiaiには、外部の依存関係に依存せず、動的メモリを使用したり、メモリ管理を必要としないなど、開発者に歓迎する他の機能があり、各マイクロカーネルが.Cおよび.Hファイルのみで構成される独立したライブラリである非常にモジュラー設計を含みます。 開発者がSME2を利用するのを支援するために、ARMは追加をリリースしました 現実世界の例を紹介するリソース LITERT、MNN、Pytorch、およびその他のサポートされているフレームワークを使用したLLMベースのアプリの。 #アームスケーラブルマトリックスエクステンション2 #Androidに来てデバイス上のAIを加速する