生成AIクラウドサービスからのインシデントは異なります

生成AI（genai）クラウドサービス ハードウェアに対する激しい需要と、その上に実行される計算リソースはユニークです。しかし、信頼性の必要性にもかかわらず、それについてはほとんど研究がありませんでした。

そのため、7人のMicrosoftの研究者（中国に拠点を置く2人を含む）が、中国に本拠を置く大学のさらに3人の研究者と、イリノイ大学Urbana-Champaignの2人と協力し、「Aと呼ばれるものを公開しました。 Genai Cloud Servicesからのインシデントの包括的な研究」 – すべてMicrosoft内から取られ、「症状、根本原因、および緩和戦略」を調査しました。

彼らの結論？インフラストラクチャの観点から、これらのサービスは本当に異なります。 「大規模なクラウドサービスと同様に、クラウドベースのGenaiサービスでは障害は避けられません」と論文は始まります。

しかし、Genaiはユニークであり、「検出、トリアージ、診断、緩和など、これらのインシデントの特性を理解することは、Genai Cloudサービスの品質を向上させるために重要です。」

GPT-3の4年後

マイクロソフトのインシデント管理システムのデータを約4年間にわたって使用して、可用性やその他のサービス品質の問題（とりわけ「生成されたコンテンツ品質の問題」など）への影響を含む「一般的な特性」について、Genai Cloud Production Icidentsを分析しました。そして、彼らは最終的に、「生成AIクラウドサービスにおける生産事件の経験的研究」に2つの重要な違いを発見しました。

• 彼らは緩和に時間がかかります。
• それらは主にインフラストラクチャによって引き起こされます。

彼らの一般的な分析は、2020年6月（GPT-3のリリース日）から始まり、2024年2月まで延長されました。彼らの論文は、MicrosoftがOpenaiの膨大なトレーニングインフラストラクチャとその公開APIをホストしていることを指摘しています。 （グラフは、GPT-3.5、CHATGPT、GPT-4の導入後のスパイクを示しています。）Microsoftは、 Azure Openai。

生産システムで直面している実際の課題を特定するために、ほぼ4年間の実際のインシデントを使用して、大規模なGenaiクラウドサービスの信頼性を改善する方法を発見したいと考えていました。そして幸いなことに、Microsoftのシステムは（関係するエンジニアによる議論とともに）根本原因と緩和ステップを捉えました。これは、研究者が「Genai Cloud Serviceのインシデントの包括的かつ比較分析を可能にする」と考えていました。 Microsoftのシステムは、インシデントの重大度が高く、中程度か低いかを把握しました。

研究者は、詳細な根本原因の説明を含む「重要な」/高強度のインシデントに焦点を当てました。しかし、信頼性に通常の焦点に加えて、 genaiサービス また、「応答品質の劣化」などの独自の問題に直面しています（単純なプロンプトからの不適切な出力や、モデルができなかった「無効なコンテンツの生成など」など 理解する ユーザーのプロンプト」とエンドユーザーのプライバシーに関する考慮事項（および独自の種類のパフォーマンスの問題）。

有害なコンテンツのフィルターでさえ、誤ったアラームを生成するか、実際の有害なコンテンツをすり抜けることができるようになります。ネットワークの問題、ストレージの問題、さらには実際のコンピューティングリソースに問題さえある場合があります。ただし、大規模な言語モデル（LLM）の可用性やモデルを選択したり、パラメーターを設定したりするためのAPI（およびデータのアップロードまたはダウンロードのAPI）を使用した場合の問題など、独自の種類の「展開障害」もあります。

研究者はこれらの「genai Iscents」と呼ばれました。

調査結果

問題は3つの明確なカテゴリに分類されました。

• パフォーマンスの劣化：49.8％
• 展開の失敗：35.7％
• 無効な推論：14.5％

しかし、重要なことに、Genai Cloud Servicesには、人間によって検出されたインシデントの割合がはるかに高かった（自動モニターではなく）。

• Genai Cloud Services：38.3％
• その他のサービス：13.7％

彼らの論文は、Genai Cloud Servicesの45.9％が「まだ開発中またはプレビュー段階にある」と述べています（「一般的な可用性」で54.1％）。これらの人間報告されたインシデントは、自動化されたレポートよりも頻繁に、より適切なチームに後で再割り当てされなければなりませんでした。 （研究者は、考えられる理由の1つは「他のサービスとの相互依存関係です。インシデントの解決は、単一のチームの能力を超えている可能性があり、異なるサービスドメインにわたる共同努力が必要です。」）

この理由およびその他の理由により、人間が報告した事件は、軽減するために72％以上の時間を必要としました。 （結局、自動レポートには、推奨されるトラブルシューティングガイドが付属していることがよくあります。）

報告書は、サービスプロバイダーが「問題をより効果的に検出および診断するために観察可能性を強化する必要があることを示唆しています。自動モニターとトラブルシューティングガイドは、緩和プロセスを大幅に高め、genai事件の緩和までの時間を短縮する」別の問題は、Genaiサービスの監視は現在、人間が検出された事件（11.0％対6.6％）よりも誤警報率が高いように見えることです。これらの両方の数値は、非ジェナイサービスが経験したもの（3.8％および4.8％）よりも高いです。

しかし、すべてのgenai事件は、非ジェナイの事件よりも緩和するのに時間がかかった、と研究者たちは、genaiの事件がより複雑であることを示唆しています（「インフラ、依存関係、および構成の広大で相互に接続された層…単一の症状は、複数の根本原因に由来するため、デバッグを複雑にすることができます」）。それらは、1つの明らかな解決策を提案しています。自動化ツールやエージェントから、インシデントの原因となっているものについて、より詳細な洞察を伴う観察可能性です。しかし、もう1つの提案は、コード（IAC）の実践としてのインフラストラクチャです。「複雑なGenai Cloud Infraをより効果的に管理するため」。

彼らは実際に、これが現実の世界でどのように展開されているかを定量化することができました。

「Genai Cloud Systemsには、非ジェナイサービスと比較して、2.5倍のインフラストラクチャの修正、3.0倍のコード変更、および3.0倍の構成更新が必要です。」

複雑さに立ち向かう

また、サービスプロバイダーが供給すべきことを提案しています ユーザー 「Genaiサービスの統合と管理の複雑さをナビゲートする」ために、より良いサポートとドキュメントを備えたGenaiサービスの。開発者は、より厳格な入力検証プロセスと「リアルタイム条件に適応する」「動的な」レート制限戦略を実装することにより、Genaiインシデントの数を減らすのに役立ちます。

しかし、問題の一部は、genaiを支持する真の複雑さのようです。非ジェナイクラウドサービスの場合、緩和の54.7％は、症状を最初に緩和するための「即興の状況固有のステップ」として定義される迅速な「アドホック修正」です。しかし、genaiの修正の22.4％のみがアドホックです。研究者は、Genai Cloud Servicesが初期の開発段階にあることを示唆しており、「より多様で、洗練された、時間のかかる方法」を必要とします。

彼らは、genaiインシデントの監視ツールが改善され、緩和までの時間を短縮するのに役立つと予想しています。

しかし、Genaiクラウドサービスのインシデントを緩和することは別の方法でユニークでした。「特定の根本原因は単一のタイプの修正に結び付けられていないからです。オンコールエンジニアの厳しい締め切りを考えると、ロールバックのような迅速なアプローチがダウンタイムを減らすために優先されます。」 （これにより、統計につながります。「コードバグはgenaiインシデントの21.5％を占めていますが、修正の7.6％だけがコードの変更です…」）

Genaiインフラストラクチャのユニークな課題について他の興味深い観察結果がありました。これは、これらの低優先度のGenaiインシデントが影響が低いために長期間未解決のままであるため、他の重大度レベルと比較して、他の重大度レベルと比較して、紛失までの時間をかなり長く示すことを示すように、他の興味深い観察がありました。また、報告された事件の14.5％は、幻覚や無関係な応答などの「無効な出力」であり、「検出が困難」で自動化されたチェックが必要であると説明されています。

現在の検出方法は、LLM独自の「自己判断」であり、複数の試行後の一貫性スコアを計算するか、人間標識データで微調整されたモデルを使用しますが、これらの方法はどれも完全に効果的であり、費用効率が高くありません。 「これらの制限に対処し、スケーラブルな検証アルゴリズムを開発するには、より堅牢な研究が必要です…」

しかし、彼らのレポートにはこの興味深い警告も含まれています。すべての事件が来たので Microsoftのクラウドシステム – 自動化されたツールを既に展開して、発生する前にいくつかのインシデントを停止します。このMicrosoftのみのデータセットは、「他のGenaiクラウドサービスの動作を完全に表していない場合があります。」

そのため、研究者はすでに複数の企業のGenaiクラウドサービスを使用して、より広範な評価を計画しています。

デビッド・カッセルは、サンフランシスコ湾岸地域の誇り高き居住者であり、20年以上にわたってテクノロジーニュースをカバーしています。長年にわたり、彼の記事はCNN、MSNBC、およびWall Street Journal Interactiveからどこにでも登場してきました…

David Casselの詳細を読んでください