Microsoftは最大の1ビットLLMをリリースし、いくつかの古いハードウェアで強力なAIを実行できます

Microsoftの研究者は、20億パラメーターを備えた最初の1ビットの大手言語モデルを開発したと主張しています。モデルであるBitnet B1.58 2B4Tは、AppleのM2などの市販のCPUで実行できます。

「4兆トークンのコーパスで訓練されたこのモデルは、ネイティブ1ビットLLMが同様のサイズの主要なオープンウェイト、フルエリケジョンモデルに匹敵するパフォーマンスをどのように達成できるかを示していますが、計算効率（メモリ、エネルギー、レイテンシ）の実質的な利点を提供します」とMicrosoftは書いています。 プロジェクトの抱き合った顔の預託機関。

ビットネットモデルの違いは何ですか？

ビットネット、または1ビットLLMは、大規模な言語モデルの圧縮バージョンです。 40億トークンのコーパスで訓練された元の20億パラメータースケールモデルは、メモリ要件が大幅に削減されたバージョンに縮小されました。すべての重みは、-1、0、および1の3つの値のいずれかとして表されます。他のLLMは、32ビットまたは16ビットのフローティングポイント形式を使用できます。

参照：脅威アクターはそうすることができます 悪意のあるパッケージをAIモデルに注入します 「バイブコーディング」中に再浮上します。

で 研究論文、これは進行中の作業としてArxivに投稿され、研究者はビットネットをどのように作成したかを詳しく説明します。他のグループは以前にビットネットを作成していますが、研究者は、彼らの努力のほとんどは、先に小規模で開発されたゼロから訓練された事前訓練を受けた全精度モデルに適用されるトレーニング後の量子化（PTQ）メソッドのいずれかです。 Bitnet B1.58 2B4Tは、規模で訓練されたネイティブ1ビットLLMです。最大4.8 GBに達する可能性のある他の「小さなモデル」と比較して、400MBしかかかりません。

Bitnet B1.58 2B4Tモデルのパフォーマンス、目的、および制限

他のAIモデルと比較したパフォーマンス

Microsoftによると、Bitnet B1.58 2B4Tは他の1ビットモデルよりも優れています。 Bitnet B1.58 2B4Tの最大シーケンス長は4096トークンです。 Microsoftは、MetaのLlama 3.2 1bやGoogle’s Gemma 3 1bなどの小さなモデルよりも優れていると主張しています。

このビットネットに対する研究者の目標

Microsoftの目標は、Edgeデバイスで実行されるバージョン、リソースに制約のある環境、またはリアルタイムアプリケーションを作成することにより、より多くの人々がLLMSにアクセスできるようにすることです。

ただし、Bitnet B1.58 2B4Tはまだ簡単に実行できません。 MicrosoftのBitnet.cppフレームワークと互換性のあるハードウェアが必要です。標準的なトランスライブラリでそれを実行することは、速度、潜伏期、またはエネルギー消費の点で利点をもたらしません。 Bitnet B1.58 2B4Tは、AIモデルの大部分がそうであるように、GPUで実行されません。

次は何ですか？

Microsoftの研究者は、より大きなネイティブ1ビットモデル（7b、13bパラメーターなど）を探索することを計画しています。彼らは、今日のAIインフラストラクチャのほとんどには1ビットモデルに適したハードウェアがないことに注意してください。研究者も次のことを目指しています。

• コンテキストの長さを増やします。
• 長いコンテストチェーンの推論の推論タスクのパフォーマンスを向上させます。
• 英語以外の複数の言語のサポートを追加します。
• 1ビットモデルをマルチモーダルアーキテクチャに統合します。
• 規模の1ビットトレーニングが効率を生み出した理由の背後にある理論をよりよく理解してください。