NVIDIA を超えて: Red Hat AI サーバーは、AWS の AWS Inferentia2 および AWS Trainium3 AI チップを使用して推論を高速化します

現在、AI のトレーニングと推論のための計算の高速化において、誰もが認めるリーダーが NVIDIA です。ジェンセン・フアン氏が率いるこの会社は、実際、AI 巨人にとっての基準点となっている。ただし、チップなどのハードウェアでも代替品が登場しています。 AWS インフェレンシア 2 e AWS Trainium3 によって開発された アマゾン ウェブ サービス。 IDC によると、今日でも NVIDIA がニッチ市場であるとしても、NVIDIA の代替ソリューションが間もなく市場の 40% を占めるようになるでしょう。

レッドハット 同社はこの瞬間に備えたいと考えており、プラットフォームの計算を高速化するために AWS と提携しました。 レッドハットAI まさにAmazonが開発したチップを使用しています。

Red Hat と AWS が AI で提携

Red Hat と AWS 間のコラボレーションの重要な側面は、何よりもまず重要です。 AWS Inferentia2 や AWS Trainium3 などの AWS チップ上で、vLLM を利用した Red Hat AI Inference Server を実行します。。これにより、あらゆる生成 AI モデルをサポートする共通の推論レイヤーが提供され、お客様は、本番環境の AI デプロイメントを拡張する際に、現在の同等の GPU ベースの Amazon EC2 インスタンスよりも最大 30 ～ 40% 低い価格/パフォーマンスで、より高いパフォーマンス、より低いレイテンシー、より優れた費用対効果を実現できます。

2 番目の要素は、Red Hat OpenShift での AI の統合に関するものです。。 Red Hat は AWS と協力して、AWS 上の完全なフルマネージド アプリケーション プラットフォームである、Red Hat OpenShift、Red Hat OpenShift AI、および AWS 上の Red Hat OpenShift Service 用の AWS Neuron Operator を開発しました。これにより、お客様は AWS アクセラレータを活用して AI ワークロードを実行するための、よりシームレスでサポートされ、統合されたパスを利用できるようになります。

このコラボレーションは、アクセスと実装を簡素化することも目的としています。 AWS AI チップのサポートにより、Red Hat は AWS で Red Hat を使用している顧客に、大容量で需要の高いアクセラレータへのより直接的かつシームレスなアクセスを提供します。。同時に、Red Hat は Red Hat Ansible Automation Platform 用の amazon.ai 認定 Ansible ソリューションを利用可能にしました。これにより、AWS 上で AI サービスを自動的にオーケストレーションできるようになります。最後に、重要な部分は上流コミュニティへの貢献です。 Red Hat と AWS は、vLLM のアップストリームで AWS AI チップ専用のプラグインを最適化するために協力しています。 vLLM への最大の商業貢献者である Red Hat は、AI モデルの推論とトレーニングの両方を高速化するために、vLLM を AWS 上で完全に有効にすることに取り組んでいます。 vLLM は、大規模な推論を提供するように設計されたオープンソース プロジェクトである llm-d のエンジンでもあり、現在は Red Hat OpenShift AI 内で商用サポートされる機能として利用可能です。

」AWS AI チップを備えた革新的な vLLM フレームワークに基づいたエンタープライズグレードの Red Hat AI Inference Server を有効にすることで、企業は AI ワークロードをより効率的かつ柔軟に導入および拡張できるようになります。」とコメントしている。 ジョー・フェルナンデス、Red Hat の AI ビジネスユニットの副社長兼ゼネラルマネージャー。 「Red Hat のオープンソースの伝統を基盤とするこのコラボレーションは、ハイブリッド クラウド環境全体で生成 AI をよりアクセスしやすく、手頃な価格にすることを目的としています。”。

「企業は、ミッションクリティカルな AI ワークロードに優れたパフォーマンス、コスト効率、運用上の選択肢を提供するソリューションを求めています”と彼は宣言する コリン・ブレイス、AWS の Annapurna Labs 副社長。 「AWS は、高性能 AI 推論とトレーニングをよりアクセスしやすく、手頃な価格にするために、Trainium および Inferentia チップを設計しました。 Red Hat との連携により、オープンソースの柔軟性と AWS インフラストラクチャおよび専用の AI アクセラレータを組み合わせて、genAI を大規模に展開するためのサポートされたパスをお客様に提供し、パイロットから本番までの価値実現までの時間を短縮します。”。