1729861786
2024-10-25 12:35:00
新しい量子化モデルは、先月リリースされたフルサイズ モデルと比較すると、56% 小さく、使用するメモリが 41% 少ないです。
Meta は、モバイル デバイス上で効果的に実行できるほど十分に小さい、軽量 Llama 3.2 1B および 3B モデルのコンパクト バージョンをリリースしました。
Facebook の所有者は昨日 (10 月 24 日) の発表で、これらの新しい「量子化」モデルは、先月リリースされたオリジナルの 3.2 モデルと比較して 56% 小型で、使用するメモリも 41% 少ないと述べました。
Meta 氏によると、1B または 3B モデルは、電話からディスカッションを要約したり、カレンダーなどのオンデバイス ツールを呼び出したりするなど、オンデバイス アプリケーションに使用できるとのことです。
新しいモデルは、元の Llama 3.2 1B および 3B と「同じ品質および安全性要件を適用」し、情報処理速度が 2 ～ 3 倍になっていると同社は主張しています。
新しいバージョンは、低精度環境での精度を優先する手法と、品質を維持しながら移植性を優先する手法の 2 つの手法を使用してクオンタイズされました。
「これらのモデルは、開発者がリソースに制約のあるデバイスに展開する際の品質と安全性を維持しながら、メモリ使用量の削減、より高速なオンデバイス推論、精度、移植性を提供します」と発表には書かれています。
ユーザーはこれらの新しいモデルのバージョンをダウンロードして、同社がこの分野の他の業界リーダーとの「緊密な協力」で構築したモバイル CPU に展開できると同社は述べた。
これらの軽量モデルは、EU で入手可能なテキストのみのシリーズ 1B および 3B モデルの一部です。
テキスト、画像、オーディオ、ビデオなどの複数の形式を処理できるマルチモーダル モデル 11B および 90B は、EU では利用できません。夏にメタ社は、EU域内の「予測不可能な」規制環境を理由に、これらのモデルをEU内で発売しないと発表した。
この発表の前月、同社はアイルランドデータ保護委員会との集中的な議論を経て、FacebookやInstagramで成人が共有するパブリックコンテンツを使用して大規模な言語モデルをトレーニングする計画を撤回した。
プライバシー擁護団体のNoybは、個人情報を含む可能性のある公的データや認可されたデータをソースとするAIトレーニング教材を使用するというMetaの意図はGDPRに違反すると主張し、この計画について深刻な懸念を表明した。
#Meta #が #Llama #モデルのコンパクト #バージョンをリリース