世界

Google の新しい圧縮により、AI のメモリ使用量が大幅に削減され、要求の厳しいワークロードや最新のハードウェア環境全体でパフォーマンスが静かに高速化されます。

Google TurboQuant は、要求の厳しいワークロード全体で精度を維持しながらメモリの負担を軽減します追加のトレーニングを必要とせずに、ベクトル圧縮が新たな効率レベルに到達キー/値キャッシュのボトルネックは依然として AI システムのパフォーマンス制限の中心にあります大規模な言語モデル (LLM) 処理中に迅速に再利用できるように中間データを保存する内部メモリ構造に大きく依存します。最も重要なコンポーネントの 1 つは、繰り返しの計算を回避する「高速デジタル チート シート」と呼ばれるキー/値キャッシュです。このメカニズムにより応答性は向上しますが、高次元ベクトルは大量のメモリ リソースを消費するため、大きなボトルネックも生じます。記事は下に続きます あなたは好きかもしれません メモリのボトルネックとスケーリングのプレッシャーモデルがスケールするにつれて、最新の LLM 展開では速度やアクセスしやすさを損なうことなくこのメモリ需要を管理することがますます困難になります。従来のアプローチは、数値精度を圧縮する方法である量子化を通じてこの負担を軽減しようとしました。ただし、これらの手法では多くの場合、特に出力品質の低下や保存された定数によるメモリ オーバーヘッドの追加といったトレードオフが発生します。効率と精度の間のこの緊張は、以下に依存する多くの既存システムで未解決のままです。 AIツール 大規模な処理に。TechRadar Pro ニュースレターにサインアップして、ビジネスの成功に必要なトップ ニュース、意見、機能、ガイダンスをすべて入手してください。グーグルさんの ターボクアント これらの長年の制限に対処することを目的とした 2 段階のプロセスを導入しています。最初のステージは、ベクトルを標準のデカルト座標から極表現に変換する PolarQuant に依存します。複数の方向成分を保存する代わりに、システムは情報を半径と角度の値に凝縮してコンパクトな省略表現を作成し、正規化ステップを繰り返す必要性を減らし、従来の量子化方法に通常伴うオーバーヘッドを制限します。 次に読むもの 第 2 段階では、修正レイヤーとして機能する量子化ジョンソン リンデンシュトラウス (QJL) が適用されます。PolarQuant は圧縮の大部分を処理しますが、QJL はデータ ポイント間の重要な関係を維持しながら、各ベクトル要素を正または負の単一ビットに削減するため、小さな残留誤差が残る可能性があります。この追加のステップにより、モデルが処理中に情報に優先順位を付ける方法を決定する注意スコアが調整されます。報告されたテストによると、TurboQuant…