1711346244
2024-03-25 05:20:28
データ集約型アプリケーションを高速化および最適化するように設計されたソフトウェアのプロバイダである MemVerge は、Compute Express Link (CXL) テクノロジーを使用して LLM のパフォーマンスを向上させるために Micron と提携しました。
同社の Memory Machine ソフトウェアは CXL を使用して、メモリの読み込みによって生じる GPU のアイドル時間を削減します。
この技術は、マイクロンのブースでデモンストレーションされました。 エヌビディア GTC 2024 と MemVerge の CEO 兼共同創設者である Charles Fan 氏は次のように述べています。 GTC でのデモでは、階層型メモリのプールがパフォーマンスを向上させるだけでなく、貴重な GPU リソースの使用率を最大化することを実証しました。」
印象的な結果
デモでは、高スループットの FlexGen 生成エンジンと OPT-66B 大規模言語モデルを利用しました。 これは、 AMD Genoa CPU、Nvidia A10 GPU、Micron DDR5-4800 DIMM、CZ120 CXL メモリ モジュール、および MemVerge Memory Machine X インテリジェント階層化ソフトウェア。
デモでは、24GB の GDDR6 メモリを搭載し、8 個の 32GB Micron DRAM から供給されるデータを備えた A10 GPU で実行されるジョブのパフォーマンスと、Micron CZ120 CXL 24GB メモリ エクスパンダと MemVerge ソフトウェアを搭載した Supermicro サーバーで実行される同じジョブのパフォーマンスを比較しました。
FlexGen ベンチマークは、階層型メモリを使用し、従来の NVMe ストレージ方式の半分以下の時間でタスクを完了しました。 さらに、MemVerge Memory Machine X ソフトウェアの GPU、CPU、および CXL メモリにわたる透過的なデータ階層化の結果、GPU 使用率が 51.8% から 91.8% に上昇したと報告されています。
マイクロンのコンピューティングおよびネットワーキング事業部門のシニアバイスプレジデント兼ゼネラルマネージャーであるラジ・ナラシンハン氏は次のように述べています。「マイクロンは、MemVerge との協力を通じて、AI アプリケーションの効果的な GPU スループットを向上させる CXL メモリモジュールの大きなメリットを実証することができ、その結果、AI アプリケーションの実行時間が短縮されます。」顧客のための洞察。 メモリ ポートフォリオ全体にわたるマイクロンのイノベーションは、クラウドからエッジまで AI ユースケースを拡張するために必要なメモリ容量と帯域幅をコンピューティングに提供します。」
しかし、専門家はこの主張に対して依然として懐疑的である。 ブロックとファイル Nvidia A10 GPU は HBM ではない GDDR6 メモリを使用していると指摘しました。 MemVerge の広報担当者は、この点やサイトが提起したその他の点に対して「私たちのソリューションは、HBM を搭載した他の GPU にも同じ効果をもたらします。 Flexgen のメモリ オフロード機能と Memory Machine X のメモリ階層化機能の間で、このソリューションは GPU、CPU、CXL メモリ モジュールを含むメモリ階層全体を管理します。」
TechRadar Pro の詳細
#スタートアップはGPU #HBM #の代わりに標準メモリを使用して #LLM #のパフォーマンスを向上させると主張していますがCXL #テクノロジーは有望であるにもかかわらず専門家はその数値に依然として納得していません