巨大チップがスーパーコンピューターに迫る

分子の世界を駆け抜ける

「仕立て屋がいて、1週間でスーツを1着作れると想像してください」とセレブラスのCEO兼共同創業者のアンドリュー・フェルドマン氏は言う。「彼は隣の仕立て屋を買収します。その仕立て屋も1週間でスーツを1着作れますが、2人は一緒に働くことはできません。今では1週間でスーツを2着作れるようになりました。しかし、3日半でスーツを1着作ることはできません。」

フェルドマン氏によると、GPU は、少なくとも分子動力学の問題に関しては、連携して作業することができない仕立て屋のようなものだという。より多くの GPU を接続すると、同時により多くの原子をシミュレートできるが、同じ数の原子をより速くシミュレートすることはできない。

しかし、セレブラスのウエハースケールエンジンは、根本的に異なる方法で拡張します。チップは相互接続帯域幅に制限されないため、2人の仕立て屋が完璧に協力して3日半でスーツを仕立てるのと同じように、チップ同士は素早く通信できます。

「適切な特性を持ち、長寿命で十分な強度があり、壊れない材料を作るのは難しい。」 —トーマス・オッペルストルプ、ローレンス・リバモア国立研究所

この利点を実証するために、研究チームは 80 万個の原子が相互作用する様子をシミュレートし、相互作用を 1 フェムト秒ずつ計算しました。各ステップの計算には、ハードウェア上でわずかマイクロ秒しかかかりませんでした。これは実際の相互作用より 9 桁遅いですが、フロンティア スーパーコンピューターの 179 倍の速さでもあります。この成果により、1 年分の計算がわずか 2 日間に短縮されました。

この研究は、サンディア国立研究所、ローレンス・リバモア国立研究所、ロスアラモス国立研究所との共同研究で行われた。ローレンス・リバモア国立研究所のスタッフ科学者であるトーマス・オッペルストルプ氏は、この進歩により、これまでは不可能だった分子相互作用のシミュレーションが可能になったと述べている。

オッペルストルプ氏は、これは特に、極限状態での材料の長期安定性を理解するのに役立つだろうと語る。「ジェットエンジン、原子炉、エネルギー生産用の核融合炉など、高温で作動する高度な機械を造る場合、こうした高温と非常に過酷な環境に耐えられる材料が必要です」と同氏は語る。「適切な特性を持ち、長寿命で十分な強度があり、壊れない材料を作るのは難しいのです」。候補材料の挙動をより長期間シミュレートできることは、材料設計と開発プロセスにとって極めて重要になるとオッペルストルプ氏は語る。

セレブラス社の主席エンジニアであるイリヤ・シャラポフ氏は、同社は、生物学的プロセスの分子動力学シミュレーションや、自動車や航空機の周りの気流のシミュレーションなど、より大規模な問題にウェハスケールエンジンの応用範囲を広げることを楽しみにしていると語った。

大規模言語モデルのダウンサイジング

大規模言語モデル (LLM) の人気が高まるにつれ、その使用にかかるエネルギー コストがトレーニング コストを上回り始めています。推定では、そのコストは 10 倍にもなる可能性があるとされています。「ChatGPT は誰もが使用しているため、推論は今日の AI の主なワークロードです」と、Cerebras の製品マーケティング ディレクターの James Wang 氏は言います。「特に大規模な場合、実行コストが非常に高くなります。」

推論のエネルギー コスト (および速度) を削減する 1 つの方法は、スパース性、つまり基本的にゼロの力を利用することです。LLM は膨大な数のパラメーターで構成されています。たとえば、Cerebras が使用するオープン ソースの Llama モデルには 70 億のパラメーターがあります。推論中、これらのパラメーターはそれぞれ入力データを処理して出力を吐き出すために使用されます。ただし、これらのパラメーターのかなりの割合がゼロである場合は、計算中にスキップして時間とエネルギーの両方を節約できます。

問題は、特定のパラメータをスキップすることが GPU では難しいことです。GPU のメモリからの読み取りは比較的低速です。これは、メモリをチャンクで読み取るように設計されているためです。つまり、一度にパラメータのグループを取り込むということです。これでは、GPU はパラメータ セットにランダムに散在するゼロをスキップできません。Cerebras の CEO である Feldman 氏は、別の例え話をしました。「これは、各箱を検査したくないので、パレットに積んだ荷物だけを移動したい運送業者に相当します。メモリ帯域幅とは、各箱を検査して空でないことを確認する能力です。空であれば、脇に置いて、移動しません。」

「非常にコンパクトなパッケージに 100 万個のコアが収められており、コア間のレイテンシが非常に低く、高帯域幅の相互作用が実現されています。」 —イリヤ・シャラポフ、セレブラス

一部のGPUは、2:4と呼ばれる特殊なスパース性を備えており、連続して保存される4つのパラメータのうち2つがゼロになります。最先端のGPUは、毎秒テラバイトのメモリ帯域幅を備えています。CerebrasのWSE-2のメモリ帯域幅は、毎秒20ペタバイトと、その1000倍以上です。これにより、非構造化スパース性を活用できるようになり、研究者は必要に応じて、モデルのどこにあってもパラメータをゼロにし、計算中に各パラメータをオンザフライでチェックできます。「当社のハードウェアは、最初から非構造化スパース性をサポートするように構築されています」と Wang 氏は言います。