より高速な AI アクセラレータ

インテル Gaudi 3 および Xeon 6
より高速な AI アクセラレータ

Intel Vision 2024 では、すべてが AI のトピックを中心に展開します。このチップ メーカーは、新しい AI アクセラレータである Gaudi 3 を発表し、Xeon 6 CPU の見通しと、クライアント、エッジ、データ センターの AI ポートフォリオ全体の概要を示します。

ビジョン2024カンファレンス インテル アリゾナ州フェニックスのモットーは「AI をどこにでももたらす」です。 これは、チップメーカーの新しいアイデアの枠組みも設定します: Intel最高経営責任者（CEO） Pat Gelsinger 氏は、Nvidia の Tensor コア GPU H100 および H200 と競合することを目的とした新しい AI アクセラレータ Gaudi 3 を正式に発表します。Intel は、次期 Xeon 6 CPU も展示しています。 ゲンアイ-顧客自身のデータセンター内のソリューションと、そこでの AI ワークロードも引き継ぐエッジ コンピューティング用の新しいプロセッサー。

インテル ガウディ 3

5年前、IntelはイスラエルのチップメーカーHabana Labsを買収した。 これまでのところ、それは 取得 それだけの価値がある：カタルーニャの建築家ガウディにちなんで名付けられたAIアクセラレータのパフォーマンスは上位モデルと一致しない エヌビディア しかし、大幅に安価であるため、需要が高くなります。 Gaudi 3 には、AI のトレーニングと推論を目的とした新世代のアクセラレーターが搭載されており、前世代と比較してパフォーマンスが大幅に向上していると言われています。 新しいチップは、5nmプロセスを使用して製造された2つのチップレットで構成されています。 Gaudi 2 はまだ 7nm チップです。 Gaudi 3 の tensor コアの数は 24 から 64 に増加しました。 さらに、AIプロセッサー ダイ上の行列乗算エンジンは 2 つではなく 8 つ、48 MB ではなく 96 つです。 現在、プロセッサーには 8 つの HBMe2 スタックがあり、合計 128 GB のメモリと 3.7 TB/秒の帯域幅を備えています。 Gaudi 2 では、スタックが 6 つあり、合計 96 GB になります。

プラス ハードウェア Intel によれば、BF16 は FP8 の 2 倍、前世代の 4 倍のパフォーマンスを提供します。 Nvidia の H100 と比較して、Intel は大規模な言語モデルのトレーニング時に最大 1.7 倍のパフォーマンス、推論時に最大 1.6 倍のパフォーマンスを約束します。 Gaudi 3 は、より効率的に、より少ない労力で動作するはずです。 シュトローム 仲良くする。

Gaudi 3 のもう 1 つの進歩は、 接続性 チップ上の 24 個のイーサネット ポートの帯域幅を 2 倍にすることで、100GbE の代わりに 200GbE ポートが追加され、クラスタ内の拡張性が向上しました。 Intelのリファレンスアーキテクチャは最大1,024に達する ノード 8,192 個の Gaudi 3 アクセラレータと 800GbE を搭載通信網。

チップ間接続にイーサネットを使用することは、コストを削減し、Nvidia の NVLink や NVSwitch のようなベンダー ロックインを回避することも目的としています。 インテルは、ウルトラ イーサネット コンソーシアム (UEC) に参加しています。 に そして HPC カスタマイズされたイーサネット ソリューションを開発しました。

Gaudi 3 は、OAM 準拠のメザニン カード HL-325L として、8 つのプロセッサ モジュールを備えたユニバーサル ベースボード HLB-325 として、また 600 ワット TDP のデュアルスロット PCI Express カードとして、さまざまなバージョンで市場に投入されます。 OAM ソリューションとベースボードは、当初は空冷で利用可能になり、後に水冷でも利用可能になります。 インテルは現在、選ばれたパートナーおよび顧客にサンプルを提供しています。 メーカーは、今年下半期の大量生産から広範囲に入手可能になることを約束しています。 として OEM発売パートナーにはデルが含まれます。 HPE、 レノボ そしてスーパーマイクロ。

Intel によれば、Gaudi アクセラレータのもう 1 つの強みはその広範さです。 ソフトウェア～スタックそれがPyTorch～フレームワーク 統合されており、多数の最適化されたモデルへのアクセスを提供します。

Gaudi 3 の後には、新世代のアクセラレータである Falcon Shores がロードマップにあり、ビジョンの中で簡単に言及されています。 これは、Gaudi テクノロジーと Xe GPU のテクノロジーを統合し、OneAPI 仕様に基づいたプログラミング インターフェイスを介してアクセスできるようにすることを目的としています。

E および P コアを搭載した Xeon 6

インテルは今後の AI を分割しようとしています。 これらの Xeon 6 モデルは、コード名 Ganite Rapids で開発されています。 どちらも同じプラットフォーム上で実行され、ソフトウェア スタックを共有します。 Xeon 6-E プロセッサは間もなく市場に投入される予定で、主にスペース要件と消費電力を削減することを目的としています。 データセンター 納得させる。 Granite Rapids は今年後半にリリースされ、その後、大規模な言語モデルの実行を高速化することを目的とした MXFP4 データ形式をサポートする予定です。

エッジコンピューティングのための AI

組み込み分野向けに、Intel は Core Ultra モバイル プロセッサ、別名 Meteor Lake をソケット PS バージョンで提供します。 画像の分類などの推論に関しては、Raptor Lake の最大 5 倍のパフォーマンスを発揮すると言われています。 によると、AI のパフォーマンスが向上すると、 メーカー また、x7000E/x7000RE シリーズの新しい Atom 世代でもあります。 Arc GPU は組み込み分野にも進出しています。 Intel は、ニュルンベルクで開催される Embedded World でもこれらの新しいプロセッサを展示します。

(ID:49991975)