世界

Google、AIのメモリ消費量を6分の1に削減する方法を発見

都合の良い場所でオンラインを読んでください グーグル社 発表された 最近、TurboQuant は、大規模言語モデル (LLM) のメモリ消費量を 6 分の 1 に削減できるアルゴリズムです。このテクノロジーは AI モデルのパフォーマンスや効率に影響を与えず、精度を維持します。 TurboQuant の目標は、繰り返しの計算を必要としない、運用上重要な情報を格納する特別なキャッシュのサイズを削減することです。ただし、コンテキスト、つまりユーザーと AI の対話の量が増加するにつれて、キャッシュ サイズも徐々に増加します。これは言語モデルの応答性に影響を与えるアキレス腱となる可能性があり、TurboQuant は効率を維持するためにキャッシュを圧縮できます。 このテクノロジーはいくつかの段階で適用され、データを圧縮してそのエラーを修正すると同時に、エラーを排除してコンピューティング プロセスのコストを削減します。このアルゴリズムは追加のトレーニングなしで機能するため、既存のモデルに適用できます。 TurboQuant の実装により、AI モデルの運用コストが削減され、同時にメモリ要件も削減されることが期待されます。これは、スマートフォンなどで実行される AI モデルや、リソースに制約のあるシステムに特に関係すると思われます。 何か話したいことはありますか？私たちに手紙を書いてください 電報ボット。匿名だし早いし #GoogleAIのメモリ消費量を6分の1に削減する方法を発見