1716210008
2024-05-20 12:45:00
Liqid は、1 台の Dell R760 サーバーで最大 30 個の NVIDIA L40S GPU を利用できるようにすることで、Dell サーバーをオンプレミスの AI モデル トレーニングの強力なサーバーに変えることができると述べています。
液体 は、コンポーザブル サーバー Matrix ソフトウェアと、x86 プロセッサとメモリをアクセラレータ、ストレージ、ネットワーキング ギアを備えたエンクロージャに接続するための PCIe ファブリックとスイッチを使用したハードウェアを提供します。 その目的は、調整された量のサーバー コンポーネント リソースを使用して、特定のワークロードに合わせてサーバーを動的に構成または構成することであり、場合によっては固定構成サーバー内に未使用のリソースがアイドル状態で放置されないようにすることです。 ワークロードが完了すると、そのコンポーネント リソースは再利用のために Liqid プールに返されます。
また、静的構成で通常サポートできるよりもはるかに多くのアクセラレータ リソースを使用してサーバーを動的に構成するために使用することもできます。 これは、今週ラスベガスで開催される Dell Technologies World 2024 (DTW24) でデモンストレーションを行っているものです。
サミット・プリ
Liqid の共同創設者兼最高戦略責任者であるスミット・プリ氏は、今後のブログで次のように述べたと伝えられています。 Dell Technologies および NVIDIA と協力して開発された Liqid の革新的な UltraStack 構成は、単一の CPU の背後に 30 個の NVIDIA L40S GPU を搭載しています。 これにより、より少ないサーバーでより多くの作業を処理できるようになり、資本コストと運用コストの両方が大幅に削減され、AI のパフォーマンス、効率、持続可能性が大幅に向上します。」
昨年 11 月に Liquid は次のことを発表しました。 16 GPU ウルトラスタック Dell R760xa サーバーおよび NVIDIA L40S GPU のリファレンス アーキテクチャ。 今年 3 月にこれを 20 GPU にアップグレードし、現在はさらに進んで、最大 40 の L40S GPU をサポートしています。
NVIDIA の L40S GPU は、H100 および A100 アクセラレータ、さらに新しい Blackwell GB200 および B200 システムよりも一般に強力ではありません。つまり、コア数が少なく、メモリもそれほど多くなく、帯域幅も低くなります。 Llama 2 や GPT-4o などのシステムを生成する生成 AI モデルのトレーニングは、数百万ドルもかかる数千とは言わないまでも数百の GPU を備えた大規模な GPU ファームで実行されます。 そのため、メタや大規模なパブリック クラウドなどのハイパースケーラー クラスの企業以外は、このようなトレーニングを利用できなくなります。
特定のユースケースに合わせて一般化されたモデルを改良するなど、より小規模なトレーニングの実行は、オンプレミスでより現実的に実行することも、GPU ファームを備えた MSP で時間を借りることもできます。 コアウィーブ。 このような MSP を使用するかどうかの決定は、データ主権の問題に加えて、機密性の高い情報が企業の IT の壁の外に公開されることや、クラウド GPU ファーム リソースにデータを転送するための長時間にわたるデータ転送時間への懸念にも影響する可能性があります。
Dell MX7000 Liqid 20 GPU 構成
ここで Liqid が登場します。UltraStack テクノロジーは、単一の Dell R760 AI サーバーをミニ BasePod に変え、独自のデータを使用してモデルの微調整を実行できるからです。 関連する SmartStack テクノロジーは、同じ GPU リソースを取得し、動的に構成されたスライスで多くのクライアントに提供できます。
Liqid ブログは次のように主張しています。「最新の 30 ウェイ Liqid UltraStack 製品は、2024 年後半にリリースされた 10 ウェイおよび 20 ウェイ ソリューションを基盤としており、4 台の同等の GPU 密度と比べて 1 秒あたりのオペレーションが 2 倍向上し、TCO が 50 パーセント低くなります」 8 GPU サーバーは、高密度 GPU システムの限界を再定義します。」
Liqid は、SmartStack 製品を備えた Dell の PowerEdge モジュラー インフラストラクチャ システム、つまり PowerEdge C シリーズ (C6620、C6625、および C6615) を認定しました。 これにより、単一のモジュラー サーバー ノードに最大 20 個の GPU を接続できるようになります。 SmartStack は、MX7000 と、MX760c、MX750c、および MX740c コンピューティング スレッド (ブレード) ごとに最大 20 個の GPU の接続もサポートします。
私たちの理解では、Liqid は AMD や Intel などのサプライヤーの GPU やその他のアクセラレータをサポートできると考えています。 また、同社は、GPU のレンタルを希望する MSP に対して、SmartStack および UltraStack テクノロジーを販売する可能性についても認識しています。
#Liqid #コンポーザビリティ技術はデルのサーバーを #GPU #のパワーハウスに変えることを目指しています #ブロックとファイル