スマートフォン上で直接動作する新しいAIモデル

ザ マイクロソフト と呼ばれる軽量人工知能 (AI) モデルの次期バージョンを導入しました。 ファイ-3。 アップデートされたラインナップには、 ファイ-3 ミニ 38 億のパラメータのうち、 ファイ-3 スモール 70億のパラメータと ファイ-3 中 140 億のパラメータ。

このリリースは、2023 年 12 月に登場し、Meta の Llama-3 ファミリーなどのモデルよりも優れたパフォーマンスを示した Phi-2 モデルの導入に続くものです。 競争の激化に直面して、Microsoft Research 部門はプログラム学習アプローチに新しい技術を適用しました。

新しい AI 38 億のパラメーター モデルは、以前の Phi-2 モデルを改良しながら、大規模な言語モデルよりも大幅に少ないリソースを使用します。 Microsoft 独自のベンチマークによると、わずか 38 億のパラメータを持つ Phi-3 Mini は、80 億のパラメータを持つ Meta の Llama と 35 億のパラメータを持つ OpenAI の GPT-3 の両方を上回ります。

phi-3-mini の導入は、3 兆 3,000 億のトークンでトレーニングされた 38 億のパラメーターの言語モデルであり、その全体的なパフォーマンスは、学術ベンチマークと内部テストの両方で測定すると、Mixtral 8x7B や GPT-3.5 (例: phi-3) などのモデルに匹敵します。 -mini は、スマートフォンに導入できるほど小さいにもかかわらず、MMLU で 69%、MT ベンチで 8.38 を達成します。

また、4.8T トークンでトレーニングされた phi-3-small および phi-3-medium と呼ばれる 7B および 14B モデルを使用した初期パラメーター スケーリングの結果も提供します。これらはどちらも phi-3-mini よりも大幅に能力が優れています (それぞれ 75 ページ)。 MMLU では % と 78%、MT ベンチでは 8.7 と 8.9)。

Phi-3 ファミリはサイズが小さいため、大型モデルと比較して低電力デバイス向けに最適化されています。 Microsoftの副社長エリック・ボイド氏は、新モデルはスマートフォン上で高度な自然言語処理を直接実行できると述べた。 このため、Phi-3 Mini は、どこでも AI 支援を必要とする新しいアプリケーションに適しています。

Phi-3 Mini は同クラスの競合製品よりも優れていますが、大量のインターネットでトレーニングされたモデルの知識の広さには匹敵しません。 ただし、ボイド氏は、内部データセットの規模が制限されていることが多いため、より小さく高品質なモデルの方がパフォーマンスが向上する傾向があると指摘しています。

[via]