AI トレーニング:最新の Google および Nvidia チップにより AI トレーニングが高速化

AI で重要なものが進化するにつれて、主に生成 AI の使用に向けて、一連のテストも変化しました。 MLPerf のこの最新バージョンは、ベンチマークの取り組みが開始されて以来、テストされている内容が完全に切り替わったことを示しています。 「現時点では、元のベンチマークはすべて段階的に廃止されました」と、MLCommons でベンチマークの取り組みを率いる David Kanter 氏は言います。前回のラウンドでは、一部のベンチマークの実行にわずか数秒しかかかりませんでした。

さまざまなベンチマークにおける最高の機械学習システムのパフォーマンスは、ムーアの法則のみによる利益の場合に予想されるパフォーマンスを上回りました [blue line]。実線は現在のベンチマークを表します。破線は、産業上関連性がなくなったため、現在は廃止されたベンチマークを表しています。MLコモンズ

MLPerf の計算によると、新しいベンチマーク スイートでの AI トレーニングは、ムーアの法則から期待される速度の約 2 倍で向上しています。年が経つにつれて、MLPerf の統治が始まった当初よりも早く業績が頭打ちになりました。 Kanter 氏は、これは企業が非常に大規模なシステムでベンチマーク テストを実行する方法を見つけ出したことが主な原因であると考えています。 Nvidia、Google などは、時間の経過とともに、ほぼ線形のスケーリングを可能にするソフトウェアとネットワーク テクノロジを開発してきました。プロセッサを 2 倍にすると、トレーニング時間が約半分に短縮されます。

最初の Nvidia Blackwell トレーニング結果

このラウンドは、Blackwell と呼ばれる Nvidia の次期 GPU アーキテクチャの最初のトレーニング テストとなりました。 GPT-3 トレーニングと LLM 微調整では、Blackwell (B200) は GPU ごとに H100 のパフォーマンスを約 2 倍にしました。増加の堅牢性は若干劣りましたが、レコメンダー システムと画像生成では依然として大幅であり、それぞれ 64 パーセントと 62 パーセントでした。

Nvidia B200 GPU に組み込まれている Blackwell アーキテクチャは、AI を高速化するために使用する数値の精度がますます低くなる傾向が続いています。 ChatGPT、Llama2、安定拡散などのトランスフォーマー ニューラル ネットワークの特定の部分では、Nvidia H100 および H200 は 8 ビット浮動小数点数を使用します。 B200 ではそれがわずか 4 ビットにまで削減されます。

Google、第6世代ハードウェアを発表

Google が 6 件の最初の結果を示した^番目 先月発表されたばかりの Trillium と呼ばれる TPU の世代と、その 5 つの第 2 ラウンドの結果^番目 世代バリアント、Cloud TPU v5p。 2023 年版では、検索大手は 5 つの異なるバージョンを入力しました。^番目 世代 TPU、v5e は、パフォーマンスよりも効率を重視して設計されています。後者と比較して、Trillium は GPT-3 トレーニング タスクのパフォーマンスを 3.8 倍も向上させます。

しかし、みんなの最大のライバルである Nvidia に対して、状況はそれほどバラ色ではありませんでした。 6,144 個の TPU v5ps で構成されるシステムは、11.77 分で GPT-3 トレーニング チェックポイントに到達し、約 3.44 分でタスクを完了した 11,616 個の Nvidia H100 システムに次ぐ 2 位になりました。その最上位の TPU システムは、半分のサイズの H100 コンピューターよりもわずか約 25 秒高速でした。

Dell Technologies のコンピュータは、約 75 セント相当の電力を使用して Llama 2 70B 大型言語モデルを微調整しました。

各システムが 2048 個の TPU で構成されている v5p と Trillium の最も近い直接比較では、次期 Trillium は GPT-3 トレーニング時間を 2 分短縮し、v5p の 29.6 分から 8% 近く改善しました。 Trillium と v5p エントリのもう 1 つの違いは、Trillium は v5p の Intel Xeon ではなく AMD Epyc CPU と組み合わせられていることです。

Google はまた、画像ジェネレーターである Stable Diffusion を Cloud TPU v5p でトレーニングしました。 26 億パラメータの Stable Diffusion は十分に軽いリフトであるため、MLPerf 出場者は GPT-3 のようにチェックポイントに到達するだけでなく、収束するようにトレーニングする必要があります。 1024 TPU システムが 2 位にランクされ、2 分 26 秒でジョブを完了しました。これは、Nvidia H100 で構成される同じサイズのシステムよりも約 1 分遅れています。

育成力はいまだ不透明

ニューラルネットワークのトレーニングにかかる莫大なエネルギーコストは、長い間懸念の源でした。 MLPerf はこれを測定し始めたばかりです。 Dell Technologies は、64 個の Nvidia H100 GPU と 16 個の Intel Xeon Platinum CPU を含む 8 台のサーバー システムを備えた、エネルギー カテゴリへの唯一の参入者でした。行われた唯一の測定は、LLM 微調整タスク (Llama2 70B) で行われました。このシステムは 5 分間の実行中に 16.4 メガジュールを消費し、平均電力は 5.4 キロワットになりました。これは、米国の平均コストで約 75 セントの電力を意味します。

この結果自体は多くを語っているわけではありませんが、この結果は同様のシステムの消費電力の目安となる可能性があります。たとえば、Oracle は、同じ数とタイプの CPU と GPU を使用した場合、4 分 45 秒というほぼ近いパフォーマンス結果を報告しました。