Apple IntelligenceがAppleのデバイスとサービスにまたがる2つの多言語のマルチモーダルファンデーション言語モデルを紹介します。（i）KVキャッシュ共有や2ビット量子化アウェアトレーニングなどの建築革新を通じて、Appleシリコン向けに最適化された〜3Bパラメーターオンデバイスモデル。 （ii）トラックの並列性、混合物のまばらな計算、およびインターリーブされたグローバルなローカルな注意を組み合わせて、Appleのプライベートクラウドクラウド複合プラットフォームで競争力のあるコストで高品質を実現する、エクスパーの混合物（PT-MOE）変圧器に基づいて構築されたスケーラブルなサーバーモデル。両方のモデルは、責任あるWebクローリング、ライセンスコーポラ、および高品質の合成データを介して調達された大規模な多言語およびマルチモーダルデータセットでトレーニングされ、新しい非同期プラットフォームでの監視付き微調整と強化学習でさらに洗練されます。結果のモデルは、画像を理解し、ツール呼び出しを実行しながら、いくつかの追加の言語をサポートします。パブリックベンチマークと人間の評価では、サーバーモデルとデバイス上のモデルの両方が一致するか、同等のサイズのオープンベースラインを上回ります。
新しいSwift中心の基礎モデルフレームワークは、ガイド付き生成、制約付きツール呼び出し、およびLoraアダプターの微調整を公開し、開発者がこれらの機能を数行のコードと統合できるようにします。 Apple Intelligenceモデルの最新の進歩は、コンテンツのフィルタリングやロケール固有の評価などの保護手段を備えた責任あるAIアプローチに基づいています。
このペーパーでは、この投稿で2025年6月9日に紹介されたAppleのオンデバイスおよびサーバーファンデーション言語モデルの更新に関する技術的な詳細を提供します。
#Apple #Intelligence #Foundation #Language #Models #Tech #Report