Nvidia の DGX クラウドのバランス調整措置

– エヌビディア

「DGX Cloud は、すべての CSP で Nvidia の最新テクノロジーにアクセスできるようにする機会です」と Bjorlin 氏は言います。 「全体から一歩下がってエンドユーザー エクスペリエンスについて考えるとき、それはフルスタック機能に関するものです。」

ビョーリン氏は、クラウド ビジネスを構築するという Nvidia の試みではなく、DGX Cloud のポイントは「エンドツーエンドのエクスペリエンスを提供することだった」と述べています。当社はサービス ソフトウェア スタックとしての完全なプラットフォームを備えており、AI ファウンドリ サービスを提供しています。」

さらに彼女は次のように付け加えました。「当社のお客様の多くは、ソフトウェアと AI/ML の専門知識をアプリケーションの開発に費やしたいと考えており、必ずしも基盤となるインフラストラクチャの管理（クラウド サービス プロバイダーの要素だと思われるかもしれません）を管理する必要はありませんが、実際には AI インフラ スタックです。そこが、DGX Cloud が独自に差別化されたものを提供するところだと思います。私たちは、顧客が旅行のどこにいても対応できるのです。」

顧客は「モデルの最適化、ランタイムの最適化などに関して当社が抱える Nvidia 社内の専門家全員にアクセスできるようになります」と彼女は言います。 「人々は、コストセンターではなく、収益を生み出す独自のアプリケーションの構築に集中できるように、もう少し消費しやすいものを探していると思います。」

これらの顧客は、基盤となるハードウェアが CSP データセンターで稼働しているにもかかわらず、Nvidia に来て、同社が設定した価格を支払います。

お客様は CSP の 1 つを非 DGX サービスに使用することが多いため、CSP は依然として重要です。 「通常、顧客は非常に自分の意見を持った人が来ます」とビョーリン氏は言います。 「彼らはどこかにデータを持っており、ここではデータグラビティが重要な側面です。はい、下り料金は下がったり下がったりしています。」

Bjorlin 氏は、顧客がどの CSP を使用すべきかを推奨する際に Nvidia がどれだけの情報を提供しているかについてはやや矛盾しています。「私たちはどのクラウドを使用するかを推奨しているわけではありませんが、パフォーマンスが最大化されると思われる場所を共有することはできます」と彼女は言います。 。

同社は各 CSP と協力して、独自の機能を備えたバージョンの DGX Cloud を構築しています。

「AWS では、AWS の EFA と協力することを発表しました。 [networking] そして彼らのニトロシステムです」とビョルリンは言います。同社は、DGX Cloud に 16,384 個の GPU を導入する予定であり、さらに AWS 経由でさらに数千個の GPU を直接導入する予定です。

「OCIとは [Oracle’s cloud]Blackwell 上の DGX Cloud のインスタンスでは、InfiniBand が使用されます。これは、彼らが過去に行ったことからの脱却です」と Bjorlin 氏は続けました。 「つまり、これは、この世代にとって最適なエクスペリエンスと機能は何かということを共同エンジニアリングした結果でした。