より優れた AI スーパーコンピューターを構築するには、光あれ

AMDやゼネラルモーターズなどのチップを製造する企業であるGlobalFoundriesは、以前Lightmatterとの提携を発表した。 ハリス氏は、自社が「世界最大の半導体企業やハイパースケーラーと協力している」と述べ、マイクロソフト、アマゾン、グーグルなどの最大規模のクラウド企業を指している。

Lightmatter または他の企業が巨大 AI プロジェクトの配線を再発明できれば、よりスマートなアルゴリズムの開発における重要なボトルネックが解消されるかもしれません。 より多くのコンピューティングの使用は、ChatGPT につながる進歩の基礎であり、多くの AI 研究者は、ハードウェアのさらなるスケールアップがこの分野の将来の進歩、そして漠然と指定された目標を達成する希望にとって不可欠であると見ています。 汎用人工知能、または AGI。あらゆる点で生物学的知能に匹敵する、またはそれを超えるプログラムを意味します。

Lightmatter の CEO である Nick Harris 氏は、100 万個のチップを光とリンクさせることで、今日の最先端を数世代超えるアルゴリズムが可能になる可能性があると述べています。 「Passage によって AGI アルゴリズムが可能になります」と彼は自信を持って示唆します。

巨大な AI アルゴリズムのトレーニングに必要な大規模なデータセンターは、通常、特殊なシリコン チップを実行する数万台のコンピューターで満たされたラックと、それらの間のほとんどが電気接続のスパゲッティで構成されています。 すべてがワイヤーとスイッチで接続されている非常に多くのシステム間で AI のトレーニング実行を維持することは、 巨大なエンジニアリング事業。 電子信号と光信号の間の変換により、チップが 1 つとして計算を実行する能力に根本的な制限が課せられます。

Lightmatter のアプローチは、AI データセンター内の複雑なトラフィックを簡素化するように設計されています。 「通常、多数の GPU、スイッチの層、スイッチの層、スイッチの層があり、2 つの GPU 間で通信するにはそのツリーをたどる必要があります」とハリス氏は言います。 ハリス氏によると、Passage で接続されたデータセンターでは、すべての GPU が他のすべてのチップに高速接続されることになります。

Lightmatter の Passage での取り組みは、最近の AI の隆盛が、OpenAI の ChatGPT のような進歩の背後にある重要なハードウェアを再発明しようとする大小の企業をどのように刺激したかを示す一例です。 エヌビディア、 AI プロジェクト用の GPU の大手サプライヤーは先月年次会議を開催し、 CEO ジェンセン・ファン AIをトレーニングするための同社の最新チップ「GPU」を発表した。 ブラックウェル。 Nvidia は、2 つの Blackwell GPU と従来の CPU プロセッサで構成される「スーパーチップ」として GPU を販売します。これらはすべて、同社の新しい高速通信技術を使用して接続されています。 NVLink-C2C。

チップ業界は、チップを大きくすることなく、より多くのコンピューティングパワーをチップから絞り出す方法を見つけていることで有名ですが、Nvidia はその傾向に逆らうことを選択しました。 同社のスーパーチップに内蔵されている Blackwell GPU は、以前のものより 2 倍強力ですが、2 つのチップをボルトで結合して作られているため、より多くの電力を消費します。 このトレードオフは、チップを高速リンクで接着するという Nvidia の取り組みに加えて、Lightmatter が提案したような AI スーパーコンピューターの他の主要コンポーネントへのアップグレードがより重要になる可能性があることを示唆しています。