AI: NVIDIA だけではありません。オラクル、AMD Instinct MI300X アクセラレータを OCI で利用可能に

オラクル を更新しました オラクルクラウドインフラストラクチャ 新しい OCI Compute Supercluster ユニット BM.GPU.MI300X.8 を搭載。このユニットの特徴はアクセラレーターを使用していることです。 AMD Instinct MI300X 推論や LLM トレーニングなどの AI 関連の計算用。

OCI スーパークラスターは AMD MI300X とともに登場します

AMD MI300X Supercluster OCI は、単一クラスターあたり最大 16,384 個の GPU をサポートし、数千億のパラメーターを含む AI モデルを管理および強化するように設計されています。したがって、大規模言語モデルのトレーニングや推論、つまりプロンプト出力の生成に最適です。

私によると テスト Oracle を活用した AMD MI300X アクセラレータの AI 推論およびトレーニング機能は、バッチ サイズが大きい場合でもレイテンシを最適化するユースケースに適しており、より大きな LLM モデルを単一のデバイスに統合する機能も備えています。

ソリューションの顧客の中には 花火AI、Llama 3.1、Mistral、Stability Diffuision などのカスタム AI モデルを生成するプラットフォームを提供する会社です。 「Fireworks AI は、企業が幅広い業界やユースケースにわたる複雑な AI システムを開発および導入するのに役立ちます」と説明します 林喬Fireworks AI CEO。 「AMD Instinct MI300X と ROCm オープン ソフトウェアで利用可能なメモリ量により、モデルの成長に合わせて顧客向けにサービスを拡張できます”。

「AMD Instinct MI300X アクセラレータの推論機能は、OCI が提供する高性能ベアメタル ドライブの幅広い選択肢に追加され、AI インフラストラクチャに一般的に使用される仮想化コンピューティングのオーバーヘッドを排除します。」とコメントしている。 ドナルド・ルー、Oracle Cloudインフラストラクチャのソフトウェア開発担当上級副社長。 「AI ワークロードを競争力のある価格で高速化したいユーザーに、より多くの選択肢を提供できることを嬉しく思います”。