AI をトレーニングし、電力網を枯渇させるデータセンターの内部

Nvidia ハードウェアを扱うことはステータス シンボルになりました。AI に真剣に取り組んでいることの表れです。エンジニアとこの機器について話していると、ストリートウェア ブランド Supreme のスニーカーを買うために寒い中立っている若い男性の蛇行した列を見たときのことを思い出しました。

今年初め、CoreWeaveは上場した。ベンチュロと彼の共同創設者は今や億万長者です。同社は数十万の GPU を所有しており、そのプラットフォームは OpenAI に加えて、Meta やその他の主要なラボ向けにモデルをトレーニングします。

この夏、私はラスベガス郊外にある CoreWeave 施設を訪問しました。大きな倉庫であるその建物は分厚い柵で囲まれ、一定間隔で監視カメラが点在していた。改札口を通ると、防弾チョッキとテーザー銃のホルスターを装着した警備員が出迎えてくれた。携帯電話を預けた後、私はディスペンサーからライムグリーンの耳栓を2つ取り出し、施設に入った。

私に参加したのは、ダーウィンのフィンチがガラパゴス諸島に適応したように、ハイパースケールの資本主義に適応したオタクたちである CoreWeave のエンジニア 3 名でした。企業出身のジェイコブ・ユントは、痩せていて雄弁で、髪をなで下ろしていた。サングラスとひげを生やした熱心な解説者のクリストファー・コンリーがハードウェアを監督した。身長7フィートの元大学バスケットボールセンターのショーン・アンダーソンは、こう書かれたシャツを着ていた。明日のノード」

問題のノードはコンピューティング機器の浅いトレイで、それぞれの重さは約 70 ポンドで、4 つの水冷 GPU と一連の追加ギアが搭載されていました。これらのトレイを 18 個積み重ねて、ケーブルで制御ユニットに接続して、冷蔵庫より少し高い Nvidia GB300 コンピューティング ラックを形成します。価格は数百万ドルです。繁忙期には、一般的なラックで 100 世帯よりも多くの電力が消費されます。数十匹が遠くまで伸びていました。

CoreWeave は、ラックをホワイトメタルのキャビネット内に保管して、ラックを冷却し、騒音を軽減します。コンリーはドアの掛け金を外し、実際に稼働しているラックを見せてくれました。そして私は衝撃を受けました。その騒音は不浄なもので、まるでほうきクローゼットを開けて中にアクティブなジェットエンジンを見つけたかのようでした。私はライトの点滅とファンの回転を観察しました。 「耳鳴りは職業上の危険だ」とコンリーは私に向かって叫んだ。

私は周りを見回した。施設内には何百もの同一のキャビネットがありました。私たちの頭上には金属製のキャットウォークがあり、コンピューティング機器用の配電器が並んでいた。私は回廊にいる修道士、兵舎にいる兵士、独房にいる囚人のことを思い出しました。いったいどんな人がこんなところで自発的に働いているんだろう、と思った。 「人事部からは、もうこのような質問はできないと言われましたが、私は多くの苦痛に耐えられる人材を採用したいと思っています」とユント氏は後に語った。 「持久力アスリートとか、そういうことだよ」

CoreWeave は、その日どの顧客がそのテクノロジーを使用していたかについては教えてくれませんでしたが、Yundt 氏は、私たちが目撃したトレーニングの実行は控えめなものだったと示唆しました。彼はラックの構成について詳しく説明し始めました。彼の言っていることが聞き取れなかった私は、まるでナイトクラブで会話しているかのように賢くうなずいた。プラグを差し込んでいても耳鳴りがし始め、頭痛もしてきました。ユントは私の方を向いた。 「時々、顧客が一度に何週間もこの場所全体を拘束することがあります」と彼は叫びました。彼の分けた髪がファンの排気でバタつき始めた。 「私たちはこれらのことを「ヒーローラン」と呼んでいます。 」

CoreWeave のハードウェアは、AI を最初から完成までトレーニングできます。ソフトウェア開発者は、通常、シリコンバレーのワークステーションで、「重み」として知られる数値のファイルと、テキスト、画像、医療記録、その他あらゆるものである膨大な数のトレーニング データをデータ センターにアップロードします。初期構成では、重みはランダムであり、AI には機能がありません。

次に、AI にトレーニング データのスライスを公開し、次に何が起こるか (たとえば、文の次の数文字) についての予測を提供するように求められます。訓練を受けていない AI はこの予測を必ず外しますが、少なくとも学習することはできます。 ない すること。この新しい情報を吸収するには重みを変更する必要があります。計算は扱いにくく、特に行列の乗算として知られる演算に依存します。