生成型 AI を効率的かつコスト効率よく導入および拡張する方法

ビジネス リーダーや開発者にとって、問題はなぜ生成型人工知能が業界全体に導入されているのかということではなく、どのようにして生成型人工知能をより速く、より高いパフォーマンスで機能させることができるのかということです。

2022 年 11 月の ChatGPT の開始は、エンドユーザー間で大規模言語モデル (LLM) の爆発的な増加の始まりとなりました。 LLM は膨大な量のデータに基づいてトレーニングされ、質問への回答、文書の要約、言語の翻訳などのタスクを同時に実行する多用途性と柔軟性を提供します。

今日、組織は顧客を満足させ、社内チームに同等の権限を与えるための生成型 AI ソリューションを求めています。しかし、世界の企業のうち、生成 AI を大規模に使用している企業はわずか 10% にすぎません。 2024 年初頭のマッキンゼーの AI の現状 調査。

最先端のサービスを開発し続け、競合他社に先んじるためには、組織は高性能の生成 AI モデルとワークロードを安全、効率的、コスト効率よく導入して拡張する必要があります。

加速する再発明

ビジネスリーダーは、生成 AI が複数の業界に根付くにつれて、その真の価値を認識し始めています。によると、LLM と生成 AI を採用している組織は、収益が少なくとも 10% 増加する可能性が 2.6 倍高くなります。 アクセンチュア。

しかし、生成 AI プロジェクトの 30% は、2025 年までに、データ品質の低下、不適切なリスク管理、コストの増大、またはビジネス価値の不透明さなどの理由により、概念実証後に放棄されるとのことです。 ガートナー。責任の多くは、大規模な生成 AI 機能の導入の複雑さにあります。

導入に関する考慮事項

すべての生成 AI サービスが同じように作成されているわけではありません。生成 AI モデルは、さまざまなタスクを処理できるように調整されています。ほとんどの組織では、テキスト、画像、ビデオ、音声、合成データを生成するためにさまざまなモデルが必要です。多くの場合、モデルをデプロイするための 2 つのアプローチのどちらかを選択します。

1. モデルは、使いやすいサードパーティのマネージド サービス上で構築、トレーニング、展開されます。

2. オープンソースおよび商用ツールに依存するセルフホスト型ソリューション。

マネージド サービスはセットアップが簡単で、安全な AI アプリケーションを構築するための堅牢なモデルを選択できるユーザーフレンドリーなアプリケーション プログラミング インターフェイス (API) が含まれています。

セルフホスト型ソリューションでは、API のカスタム コーディングと、既存のインフラストラクチャに基づいたさらなる調整が必要です。そして、このアプローチを選択する組織は、基礎モデルの継続的なメンテナンスと更新を考慮する必要があります。

高スループット、低遅延、セキュリティによる最適なユーザー エクスペリエンスを確保することは、多くの場合、既存のセルフホスト型ソリューションでは達成が困難です。高スループットとは、大量のデータを効率的に処理できる能力を意味し、低遅延とは、データ送信の遅延が最小限であることを意味します。そしてリアルタイムのインタラクション。

組織がどのアプローチを採用するにせよ、推論パフォーマンスを向上させ、データを安全に保つことは、複雑で計算量が多く、多くの場合時間のかかる作業です。

プロジェクトの効率

組織は、生成 AI と LLM を大規模に導入する際に、いくつかの障壁に直面します。迅速または効率的に対処しない場合、プロジェクトの進捗と実装スケジュールが大幅に遅れる可能性があります。主な考慮事項は次のとおりです。

低遅延と高スループットを実現します。 優れたユーザー エクスペリエンスを確保するには、組織はリクエストに迅速に応答し、効果的に拡張するために高いトークン スループットを維持する必要があります。

一貫性。 安全で安定した標準化された推論プラットフォームは、一貫した API を備えた使いやすいソリューションを重視するほとんどの開発者にとって優先事項です。

データのセキュリティ。 組織は、社内ポリシーおよび業界規制に従って、企業データ、顧客の機密保持、および個人を特定できる情報 (PII) を保護する必要があります。

これらの課題を克服することによってのみ、組織は生成 AI と LLM を大規模に活用することができます。

推論マイクロサービス

競合他社に先んじるためには、開発者は、高性能の生成 AI および LLM モデルを迅速かつ信頼性が高く安全に導入できるコスト効率の高い方法を見つける必要があります。コスト効率の重要な尺度は、高スループットと低遅延です。これらは共に、AI アプリケーションの配信と効率に影響を与えます。

API を使用して小規模な独立したソフトウェア サービスに接続されたトレーニング済み AI モデルを通じてデータを実行する、使いやすい推論マイクロサービスは、状況を大きく変える可能性があります。業界標準の API を使用して、包括的な生成 AI モデルへの即時アクセスを提供し、オープンソースおよびカスタム基盤モデルに拡張し、既存のインフラストラクチャやクラウド サービスとシームレスに統合できます。これらは、開発者がモデルのパフォーマンスを最適化し、高スループットと低遅延の両方を実現しながら、AI アプリケーションの構築に伴う課題を克服するのに役立ちます。

エンタープライズ グレードのサポートは、本番環境で生成 AI を実行している企業にとっても不可欠です。組織は、継続的なアップデート、専用の機能ブランチ、セキュリティパッチの適用、および厳格な検証プロセスを取得することで、貴重な時間を節約します。

Hippocratic AI は、生成 AI に焦点を当てた大手ヘルスケア スタートアップ企業であり、推論マイクロサービスを使用して、それぞれ 700 億を超えるパラメータを持つ 25 以上の LLM を展開し、セキュリティが強化され、AI 幻覚が軽減された共感的な顧客サービス エージェント アバターを作成します。合計 1 兆を超えるパラメータを含む基礎となる AI モデルにより、患者と仮想エージェント間の流動的なリアルタイムのディスカッションが実現しました。

新たな可能性を生み出す

生成 AI は、今日の組織のビジネスのやり方を変革しています。このテクノロジーが成長を続ける中、企業は生成 AI を大規模に導入する際に、低遅延と高スループットの利点を必要としています。

推論マイクロサービスを採用してこれらの課題に安全、効率的、経済的に対処する組織は、成功に向けて自らのセクターをリードできる立場に立つことができます。

詳しくはこちら AWS 上の NVIDIA NIM 推論マイクロサービス。