1762236469
2025-11-04 05:28:00
マイクロソフトは 発表された 同社の Azure ND GB300 v6 仮想マシンは、Meta の Llama2 70 B モデルで 1 秒あたり 110 万トークンの推論速度を達成したとのことです。
CEOのサティア・ナデラ氏は次のことをとった。 ×は、これを「NVIDIA との長年にわたる共同イノベーションと、実稼働規模で AI を実行する専門知識によって可能になった業界記録」と呼んでいます。
Azure ND GB300 は、NVIDIA の Blackwell Ultra GPU、具体的には NVIDIA GB300 NVL72 システムを搭載した仮想マシン (VM) です。
これには、単一のラックスケール構成に 72 個の NVIDIA Blackwell Ultra GPU と 36 個の NVIDIA Grace CPU が含まれています。
VM は推論ワークロード向けに最適化されており、GPU メモリが 50% 増加し、TDP (熱設計電力) が 16% 増加しています。
パフォーマンスの向上をシミュレートするために、Microsoft は 1 つの NVIDIA GB300 NVL72 ドメイン上の 18 台の ND GB300 v6 仮想マシンのそれぞれで MLPerf Inference v5.1 の Llama2 70B (FP4 精度) を実行しました。
これは、推論エンジンとして NVIDIA TensorRT-LLM を使用しました。
「Azure ND GB300 v6 の 1 つの NVL72 ラックは、合計 1,100,000 トークン/秒を達成しました」と Microsoft は述べています。
システムには 72 個の Blackwell Ultra GPU が含まれているため、パフォーマンスはおよそ 15,200 トークン/秒/GPU に相当します。
Microsoft は、すべてのログ ファイルと詳細な結果とともに、このシミュレーションの詳細な内訳を提供しました。
このパフォーマンスは、独立したパフォーマンス検証およびベンチマーク会社である Signal65 によって検証されました。
「このマイルストーンは、1 秒あたり 100 万トークンの壁を突破して業界初となるという点だけでなく、現代の企業の動的な使用とデータ ガバナンスのニーズを満たすように設計されたプラットフォーム上でそれを達成するという意味でも重要です」と、Signal65 のラボ担当副社長である Russ Fellows 氏は述べています。 ブログ投稿。
#MicrosoftAzure #GB300 #で #秒あたり #万トークンの推論記録を樹立