エージェントAIに対する信頼：なぜ評価インフラストラクチャが最初に来なければならないのか

AIエージェントが実際の展開を入力すると、組織は自分がどこに属し、それらを効果的に構築する方法、およびそれらを大規模に運用する方法を定義するよう圧力を受けています。 VentureBeat’sで 2025変換、テクノロジーのリーダーは、彼らがどのように彼らのビジネスをエージェントと変容させているかについて話するために集まりました。 Shailesh Nalawadi、Sendbirdのプロジェクト管理担当副社長。 Thys Waanders、CognigyでのAI変換のSVP。ショーン・マルホトラ、CTO、ロケット会社。

いくつかのトップエージェントAIユースケース

「AIエージェントのこれらの展開のいずれかの最初の魅力は、人的資本を救うことになっている傾向があります。数学は非常に簡単です」とナラワディは言いました。 「しかし、それはAIエージェントで得られる変換能力を低下させます。」

Rocketでは、AIエージェントがWebサイトの変換を増やす上で強力なツールであることが証明されています。

「エージェントベースのエクスペリエンス、ウェブサイトでの会話エクスペリエンスにより、クライアントはそのチャンネルを通過すると3倍変換する可能性が高いことがわかりました」とMalhotra氏は言います。

しかし、それはただ表面を傷つけています。たとえば、ロケットエンジニアは、非常に専門化されたタスクを自動化するために、わずか2日間でエージェントを構築しました。住宅ローン引受中の譲渡税の計算です。

「その2日間の努力により、年間100万ドルの費用が節約されました」とMalhotra氏は言います。 「2024年、私たちは100万人以上のチームメンバーの時間を節約しました。これは、ほとんどがAIソリューションの後ろにあります。これは、費用を節約するだけではありません。また、チームメンバーは、人生の最大の金融取引であるものを作る人々に時間を集中することができます。」

エージェントは、本質的に個々のチームメンバーを過充電しています。節約されたその100万時間は、誰かの仕事全体が何度も再現されていません。それは、従業員が楽しんでいないこと、またはクライアントに価値を追加していないことである仕事の分数です。そして、その百万時間を節約すると、ロケットはより多くのビジネスを処理する能力を与えます。

「私たちのチームメンバーの中には、昨年よりも前年よりも50％多くのクライアントを処理することができました」とMalhotraは付け加えました。 「つまり、スループットが高くなり、より多くのビジネスを促進できることを意味します。また、AIが今できるより多くの暗記作業を行うのに対して、クライアントのニーズを理解するのに時間を費やしているため、より高い変換率が見られます。」

タックルエージェントの複雑さ

「私たちのエンジニアリングチームの旅の一部は、ソフトウェアエンジニアリングの考え方から（一度書いてテストして、同じ答えを1,000回実行し、より確率論的なアプローチに移行することです。 「その多くは人々を連れてきています。ソフトウェアエンジニアだけでなく、製品マネージャーとUXデザイナーだけでなく。」

助けられたのは、LLMが長い道のりを歩んできたことです、とWaandersは言いました。彼らが18ヶ月、2年前に何かを構築した場合、彼らは本当に適切なモデルを選ぶ必要がありました、さもなければ、エージェントは予想どおりに実行されませんでした。今、彼は、私たちは今、ほとんどの主流モデルが非常にうまく振る舞う段階にあると言います。それらはより予測可能です。しかし、今日の課題は、モデルを組み合わせ、応答性を確保し、適切なシーケンスで適切なモデルを調整し、適切なデータで織り込むことです。

「私たちには、年間数千万人の会話をプッシュする顧客がいます」とWaanders氏は言います。 「たとえば、1年で3,000万回の会話を自動化すると、LLMの世界でどのように拡大しますか？クラウドプロバイダーでモデルの可用性を得ることさえ、私たちが見つけなければならなかったすべてのものです。たとえば、ChatGPTモデルで十分なクォータを持っていること。

LLMを調整する上の層は、エージェントのネットワークを調整しているとMalhotra氏は述べています。会話型エクスペリエンスには、フードの下にエージェントのネットワークがあり、オーケストレーターは、利用可能なエージェントからどのエージェントがリクエストを耕作するかを決定しています。

「それを前にプレイし、さまざまなことができる数百または数千人のエージェントがいることを考えると、本当に興味深い技術的な問題が発生します」と彼は言いました。 「遅延と時間が重要であるため、それはより大きな問題になりつつあります。そのエージェントルーティングは、今後数年間で解決するために非常に興味深い問題になるでしょう。」

ベンダー関係を活用します

この時点まで、エージェントAIを立ち上げるほとんどの企業にとっての最初のステップは、専門のツールがまだ存在していないため、社内で構築しています。ただし、一般的なLLMインフラストラクチャまたはAIインフラストラクチャを構築することで価値を区別して作成することはできません。また、初期ビルドを超えて、ビルドされたものをデバッグ、反復、改善し、インフラストラクチャを維持するために専門的な専門知識が必要です。

「多くの場合、見込み客との最も成功した会話は、すでに社内で何かを構築している人である傾向があります」とナラワディは言いました。 「彼らはすぐに1.0に到達するのは大丈夫であることに気づきますが、世界が進化し、インフラストラクチャが進化し、新しいもののためにテクノロジーを交換する必要があるため、これらすべてを調整する能力はありません。」

エージェントAIの複雑さの準備

理論的には、エージェントAIは複雑さのみが成長します。組織内のエージェントの数は増加し、互いに学習し始め、ユースケースの数が爆発します。組織はどのように課題に備えることができますか？

「それは、システムのチェックとバランスがさらにストレスを感じることを意味します」とマルホトラは言いました。 「規制プロセスを持っているものについては、誰かがこれにサインオフしていることを確認するためにループに人間を持っています。重要な内部プロセスまたはデータアクセスのために、あなたは適切なartりと監視がありますか？ロックを解除すると、あなたはそれをしなければなりません。」

それでは、AIエージェントが進化するにつれて確実に振る舞うことをどのように自信を持つことができますか？

「最初にそれについて考えていないなら、その部分は本当に難しい」とナラワディは言った。 「短い答えは、それを構築し始める前に、評価インフラストラクチャを配置する必要があることです。AIエージェントから、このテストセットからの見た目がどのように見えるかを知っている厳格な環境があることを確認してください。

問題は、それが非決定論的であることです、とウェアンダーは付け加えました。ユニットテストは重要ですが、最大の課題は、あなたが知らないことを知らないことです。エージェントが表示できる誤った動作、特定の状況でどのように反応するかということです。

「数千の異なるシナリオの下でそれを押して、それがどのように持ちこたえて反応するかを分析することによって、大規模な会話をシミュレートすることによってのみそれを見つけることができます」とWaanders氏は言いました。