AMD は現在、トップ 500 に Nvidia よりも多くのコンピューティング能力を持っています

今週アトランタで開催された SC24 カンファレンスで話題になっている 11 月のスーパーコンピューター トップ 500 ランキングでは、5 月にドイツのハンブルクで開催された ISC24 カンファレンスで 6 月に発表されたリストよりもはるかに多くの変動がありました。設置されている新しい機械における興味深い開発がいくつかあります。

もちろん、大きなニュースは、AMD のハイブリッド CPU-GPU コンピューティング エンジンを搭載してヒューレット パッカード エンタープライズによって構築されている待望の「El Capitan」システムが稼働しており、予想通り、ランキングの新たなトップフロッパーとなったことです。 。そして、米国での競合や中国で噂されるエクサスケールクラスのマシンの仕様に大差をつけている。

El Capitan のかなりの部分 (この記事を書いている時点では、その部分がどれほどの大きさなのかはまだわかりません) の 43,808 台の AMD の「Antares-A」Instinct MI300A デバイス (私たちの計算によれば) は、ローレンス リバモア国立研究所によってテストされました。 1993 年以来スーパーコンピューターのランク付けに使用されている High Performance Linpack テストなど、さまざまなベンチマークを使用してテストされました。 HPL の理論上のピーク パフォーマンスは 2,746.4 ペタフロップスで、これは予想されていた 2.3 エクサフロップスから 2.5 エクサフロップスよりも大幅に高くなります。 (もちろん、これは 64 ビット精度の浮動小数点演算の場合です。) HPL テストでのピーク持続パフォーマンスは 1,742 ペタフロップスで、計算効率は 63.4 パーセントになります。これは、新しい加速システムが市場に投入されるときに私たちが期待する効率のレベルとほぼ同じであり (試金石は 65 パーセント)、2025 年のその後のランキングでは、El Capitan がベンチマークに耐えられる理論的能力をさらに発揮すると予想しています。このシステムはローレンス・リバモアに受け入れられる方向に進んでいます。

思い出してください。 MI300Aは兄弟のMI300Xとともに発表されました MI300A には、合計 20 個の「Genoa」Epyc コアを備えた 3 つのチップレットと、1.8 GHz で動作する Antares GPU ストリーミング マルチプロセッサの 6 つのチップレットが搭載されています。 Cray EX システムでは、すべての MI300A コンピューティング エンジンが HPE の「Rosetta」 Slingshot 11 イーサネット インターコネクトを使用して相互にリンクされています。全体として、El Capitan のテストされたセクションの GPU チップレットには、105 万個の Genoa コアと 1,000 万個に満たないストリーミング マルチプロセッサーが搭載されています。これは明らかに膨大な量の同時実行を管理する必要があります。しかし、それはおかしなことではありません。中国、無錫の国家スーパーコンピューティングセンターにあるSunway「TaihuLight」スーパーコンピュータは、2016年以来トップ500ランキングにランクインしており、（少なくともHPLを使用してテストされたマシンの中で）依然として世界で15番目に強力なマシンです。その合計は10.65でした。 100万コア。

SC24 での Lawrence Livermore 氏によるブリーフィングの後、El Capitan マシンのアーキテクチャを個別に詳しく掘り下げる予定で、ここでそのストーリーにクロスリンクします。

各 Top500 リストには古いマシンと新しいマシンが混在しており、新しいマシンが HPL を使用してテストされ、その所有者が結果を提出すると、以前のリストにあった強力でないマシンは外れ、Top500 ユニバースの一部ではなくなります。それらは今でも使用されています。さらに、米国、ヨーロッパ、中国では、本業として HPC シミュレーションやモデリングを行っていない多くのマシンがリストに含まれています。これは、企業とその OEM パートナーがリストを不正に操作したいためです。汎用クラスターに関する HPL 情報があることは興味深いことですが、想定されているスーパーコンピューターのランキングが歪められてしまいます。正直に言うと、私たちは長い間、トップ 50 のマシンを真のスーパーコンピューターとしてしか見ておらず、このランキングをより有用なものにする何らかの方法を考え出すことを模索してきました。

6 月に遡ると、私たちはこれを HPC で何が起こっているかを測る尺度として使用しようと、リストにある新規参入者だけを調べることにしました。そして、私たちは再び 2024 年 11 月のランキングを細かく分析し、人々が最近何を購入し、テストしたかを確認します。いくつか興味深い傾向があり、今後もこのような形で変化に注目していきたいと思います。

2024年6月のランキングよりTop500 リストには 49 台の新しいマシンが含まれており、これらの新しいマシン全体の 64 ビット浮動小数点精度での合計 1,226.7 ペタフロップスのピーク パフォーマンスのうち、7 台の新しいスーパーコンピューターが、実際には Nvidia の「Grace」に基づく HPC 作業を行うスーパーコンピューターでした。 Arm サーバー CPU と「ホッパー」H100 GPU アクセラレータは、合計 663.7 ペタフロップスのピークを占めました。 2024 年 6 月のリストに追加された容量の 54.1 パーセント。 AMD Epyc プロセッサと Nvidia GPU を組み合わせたシステムは、新しいコンピューティング能力のさらに 8.1% を占め、Intel Xeon プロセッサと Nvidia GPU を組み合わせたシステムは、2023 年 11 月下旬から 2024 年 6 月上旬の間に導入され、HPL を使用してテストされた能力のさらに 17.5% を占めました。 。さらに 23 台のオール CPU マシンがあり、これらはソフトウェア互換性のために多くの HPC 環境で依然として必要ですが、これらのマシンの総コンピューティングは依然としてすべての新しい 64 ビット フロップの 12.1 パーセントにすぎません。

今回、2024 年 11 月の Top500 ランキングでは、HPC ベースへの容量追加という点で AMD が大きな勝者となっています。リストには 61 台の新しいマシンがあり、ここではそれらがコンピューティング エンジン アーキテクチャによって並べ替えられています。

今回は、新しい Grace-Hopper システムは 4 台のみで、そのサイズはかなり控えめで、リストにある新しいマシンの合計ピーク パフォーマンス 5,211.6 ペタフロップスの 3.8 パーセントにすぎません。

ただし、ホストに Intel Xeon CPU を搭載し、オフロード エンジンとして Nvidia GPU を搭載した新しいマシンが 25 台あり、これらを合計すると、合計 969.6 ペタフロップスのコンピューティング、またはリストにある新しいコンピューティングの合計の 18.6 パーセントになります。興味深いことに、デルは、AMD Instinct MI300A アクセラレータと Intel Xeon CPU を組み合わせた、「IronMan」という愛称の 5.3 ペタフロップス マシンを自社用に構築しました。 (なぜ？) また、Nvidia GPU アクセラレータをサポートする AMD Epyc CPU ホストを搭載したマシンが 11 台あり、合計で 247.7 ペタフロップスの最高出力を実現します。 Nvidia GPU マシンの合計は、2024 年 11 月の Top500 リストに追加された合計コンピューティングの 39% を占めました。

今回、MI300A ハイブリッド コンピューティング エンジンをベースにした El Capitan とその小型の 4 つの兄弟は、3,134.6 ペタフロップスの FP64 能力を発揮し、総コンピューティングの 60.1 パーセントを占め、現在のトップ 500 リストに輝かしい新登場をもたらしました。イタリアの Eni SpA に設置された HPC6 マシンのおかげで、 1月に書いた これは基本的に、米国のオークリッジ国立研究所に設置されている「フロンティア」スーパーコンピューターの小型クローンですが、AMD MI250X GPUと組み合わせたAMD CPUをベースにした2台のマシンから、11月のリストにさらに619.3ペタフロップスの出力が追加されました。 。

これらすべてを合計すると、2024 年 11 月のランキングで追加された新しいパフォーマンスの 72.1 パーセントを AMD GPU が占めました。

ここで、11 月の完全な Top500 リストまで視野を広げ、リスト内の 209 個のアクセラレーション システムすべてを見てみましょう。この美しいツリーマップでこれがどのように分解されるかを見てください。

上のグラフのボックス サイズは、HPL での持続的なパフォーマンスの合計を表しています。

左上の緑の地域は El Capitan と Frontier によって支えられており、AMD CPU と GPU を組み合わせて使用するすべてのマシンが含まれています。 Nvidia Grace-Hopper マシンは右上にあり、さまざまな Nvidia GPU を使用するマシンは青、灰色、赤のボックスにあります。 Intel GPU マシン (数は少ない) は右下の青緑色で、焦げたオレンジ色のマシンは CPU のみのシステムです。

楽しみのために、リストにある 209 台のアクセラレータ マシンをアクセラレータの種類と、システム数、ピーク テラフロップス、総コア数をアーキテクチャごとに分類して並べ替えました。これを見てください:

現時点では、Intel「Ponte Vecchio」Max GPU アクセラレータを使用するマシンは 4 システム (500 台中 1.9%) のみですが、ピーク パフォーマンスの 14% を占めており、その圧倒的大部分はインストールされている「Aurora」システムによるものです。アルゴンヌ国立研究所にて。

あらゆる種類のホストで Nvidia GPU を使用しているマシンは 183 台あり、2024 年 11 月のリストにある高速化されたインストール済みマシンの 87.6 パーセントを占めていますが、FP64 精度での総ピーク容量のわずか 40.3 パーセントにすぎません。コンピューティングの大部分に AMD GPU を使用しているマシンは 19 台ありますが、これは高速化されたマシンの 9.1% にすぎません。しかし、これは FP64 のピーク時の総生産能力の 44.9% に相当します。 El Capitan、Frontier、HPC6、その他 16 台のマシンのおかげで、AMD はトップ 500 リストのこの分野で Nvidia を破りました。

2024 年 11 月のリストにある 500 台のマシンすべてを見ると、アクセラレーション システムはマシンの 41.8 パーセント、合計 17,705 ペタフロップスの 83.4 パーセント、合計 1 億 2,860 万コアとストリーミング マルチプロセッサの 55.4 パーセントを占めています。

より広範な傾向を見る

エクサスケールの壁を突破することは、多くの人が考えていたよりも困難でした。これは主に予算と消費電力の制約によるものであり、根本的な技術的問題によるものではありません。中国のエクサスケール マシン (「Tianhe-3」と「OceanLight」) は、Top500 主催者に正式な HPL パフォーマンス結果を提出していないため、ランク付けされていませんが、消費電力や消費電力を気にしなければ、マシンのコストを考えると、数年前にエクサスケールのマシンを現場に導入することは可能であっただけでなく、すでに完了していました。 (1 年前の最善の推測 つまり、Tianhe-3 の FP64 のピーク パフォーマンスは 2.05 エクサフロップスで、OceanLight は 1.5 エクサフロップスでした。)

Top500 リストの最下位は、歴史的に HPC システムに期待されるログ プロットに追いつくのに非常に苦労しています。将来 10 エクサフロップス以上のマシンが実現した場合、クラスの平均を引き上げると信じる理由はありません。対数曲線に戻りたいのであれば、マシンの価格を下げる必要があり、パフォーマンス単位あたりのコストは下がり続けているにもかかわらず、マシンの価格は高くなっています。

今回、Top500 に入るには、HPL ベンチマークで少なくとも 2.31 ペタフロップスを備えたマシンが必要でした。トップ100入りは12.8ペタフロップスだった。興味深いことに、リストにある HPL の総パフォーマンスは 11.72 エクサフロップスで、2024 年 6 月の 8.21 エクサフロップス、2023 年 11 月の 7.01 エクサフロップス、2023 年 6 月の 5.24 エクサフロップスから増加しています。これらの大型マシンは総パフォーマンスを引き上げていますが、小規模な HPC センターはそうではありません。リストにある 500 台のマシン全体で 2 年ごとに 2 倍になるほどの速さで容量を追加しています。これは、クラウド上の HPC の台頭と一致する場合もあれば、一致しない場合もあります。クラウド ビルダーからのデータがなければ何とも言えません。