キャピタルワンがどのように生産マルチエージェントAIワークフローをパワーエンタープライズユースケースに構築したか

リスク管理と安全性とエージェントシステムのイノベーションのバランスをどのようにバランスさせますか？また、データやモデルの選択に関するコア考慮事項にどのように取り組みますか？これで VB変換 セッション、Milind Naphade、SVP、Technology、AI Foundations at Capital Oneは、エージェントワークフローの展開とスケーリングのための実世界の実験とアプリケーションから学んだベストプラクティスとレッスンを提供しました。

キャピタルワンは、新しいテクノロジーの最前線にとどまることに取り組んでおり、最近、自動車購入体験を強化するために、生産グレードの最先端のマルチエージェントAIシステムを立ち上げました。このシステムでは、複数のAIエージェントが協力して、自動車購入者に情報を提供するだけでなく、顧客の好みとニーズに基づいて特定のアクションを実行します。たとえば、1人のエージェントが顧客と通信します。別のものは、ビジネスルールと使用が許可されているツールに基づいてアクションプランを作成します。 3番目のエージェントは、最初の2つの精度を評価し、4番目のエージェントはユーザーとアクションプランを説明および検証します。 1億人以上の顧客が、他の幅広い潜在的な資本1ユースケースアプリケーションを使用しているため、エージェントシステムは規模と複雑さのために構築されています。

「顧客体験を改善し、顧客を喜ばせることを考えるとき、私たちは考えます、それが起こる可能性のある方法は何ですか？」ナファデは言った。 「アカウントを開設するか、バランスを知りたいのか、車両をテストするために予約をしようとしているのかにかかわらず、顧客がやりたいことがたくさんあります。非常に簡単に言えば、顧客が何を望んでいるのかをどのように理解しますか？

エージェントAIは明らかに、内部および顧客向けのユースケースのために次のステップであったと彼は述べた。

エージェントワークフローの設計

金融機関には、顧客の旅をサポートするワークフローを設計する際に、特に厳しい要件があります。また、キャピタルワンのアプリケーションには、顧客が問題を提起し、会話ツールを活用するクエリを提起するため、多くの複雑なプロセスが含まれています。これらの2つの要因により、設計プロセスが特に複雑になり、すべての段階での顧客と人間のエージェントの両方がどのように反応し、反応し、推論するかなど、旅全体の全体的な見方が必要です。

「人間がどのように推論するかを見たとき、私たちはいくつかの顕著な事実に打たれました」とナファデは言いました。 「複数の論理エージェントを使用して設計した場合、人間の推論を非常によく模倣することができることがわかりました。しかし、あなたは自問してください、あなたは自分自身に何をしますか？

彼らは、歴史的なデータで顧客体験を研究しました。それらの会話が正しく、間違っている場所、どれだけ長く取るべきか、その他の顕著な事実です。彼らは、顧客が何を望んでいるかを理解するためにエージェントとの複数回の会話が必要であり、エージェントワークフローがそのために計画する必要があることが多いことを学びましたが、組織のシステム、利用可能なツール、API、および組織のポリシーガードレールに完全に基づいています。

「私たちにとっての主なブレークスルーは、これがダイナミックで反復的でなければならないことを認識していました」とナファデは言いました。 「多くの人がLLMをどのように使用しているかを見ると、LLMをフロントエンドとして存在するのと同じメカニズムのフロントエンドとして叩いています。彼らは意図の分類にLLMを使用しているだけです。しかし、最初からスケーラブルではないことに気付きました。」

既存のワークフローからキューを取得します

Capital Oneの研究者は、顧客にどのように対応しながら、人間のエージェントが顧客に対応していることをどのように推論するかに基づいて、それぞれ異なる専門知識を持つ専門家AIエージェントのチームが集まって問題を解決するフレームワークを開発しました。

さらに、Capital Oneは、堅牢なリスクフレームワークをエージェントシステムの開発に組み込みました。規制された機関として、Naphadeは、リスクを管理するために、キャピタルワンの内部リスク緩和プロトコルとフレームワークの範囲に加えて、独立した他のエンティティがあなたを観察し、あなたを評価し、質問し、監査します。 「私たちは、最初の2人のエージェントが資本1つのポリシーとルールに基づいて何をするかを評価することであったAIエージェントを持つことは、私たちにとって良い考えだと思いました。」

評価者は、以前のエージェントが成功したかどうかを判断し、そうでない場合は計画を拒否し、問題がどこにあるかという判断に基づいて結果を修正するよう計画エージェントに要求します。これは、適切な計画に達するまで、反復プロセスで発生します。また、会社のエージェントAIアプローチにとって大きな恩恵であることが証明されています。

「評価エージェントは…世界モデルをもたらす場所です。そこで、一連のアクションが実際に実行される場合に何が起こるかをシミュレートします。私たちは規制された企業であるために必要なそのような厳格さです。実際に私たちを非常に持続可能で堅牢な軌跡に置いていると思います。

エージェントAIの技術的課題

エージェントシステムは、組織全体のフルフィルメントシステムで作業する必要があり、すべてさまざまな許可があります。さまざまなコンテキスト内でツールとAPIを呼び出し、高精度を維持しながら、ユーザーの意図の想定から信頼できるプランの生成と実行まで、高い精度を維持しながら挑戦的でした。

「実験、テスト、評価、人間のループ、このようなもので実際に市場に来る前に行う必要があるすべての適切なガードレールの複数の反復があります」とナファデは言いました。 「しかし、最大の課題の1つは、私たちには前例がなかったことでした。私たちは行くことができませんでした。ああ、他の誰かがこのようにそれをしました。それはどのようにうまくいきましたか？斬新な要素がありました。私たちは初めてそれをやっていました。」

Nvidiaとのモデル選択と提携

モデルの観点から、Capital Oneは、会議で発表され、最新のものに遅れないように、アカデミックおよび業界の研究を鋭く追跡しています。現在のユースケースでは、彼らは閉じるのではなく、Open-Weightsモデルを使用しました。 AI戦略における競争上の優位性は独自のデータに依存しているため、それは彼らにとって重要です、とNaphadeは主張します。

テクノロジースタック自体では、社内テクノロジー、オープンソースツールチェーン、NVIDIA推論スタックなど、ツールの組み合わせを使用しています。 Nvidiaと緊密に連携することで、Capital Oneが必要なパフォーマンスを獲得し、Nvidiaのライブラリでの業界固有の機会について協力し、Triton ServerとTensort LLMの機能を優先順位付けしました。

エージェントAI：先を見据えています

Capital Oneは、AIエージェントをビジネス全体で展開、拡張、洗練し続けています。彼らの最初のマルチエージェントワークフローは、会社の自動車事業を通じて展開されたチャットコンシェルジュでした。自動車購入プロセスで自動車ディーラーと顧客の両方をサポートするように設計されています。また、豊富な顧客データにより、ディーラーは深刻なリードを特定しており、顧客エンゲージメントメトリックを大幅に改善しました。場合によっては最大55％です。

「彼らは、この自然でより簡単な24時間年中無休のエージェントを通じて、より良い深刻なリードを生み出すことができます」とナファデは言いました。 「この機能を持ち込みたいと思います [more] 顧客向けのエンゲージメントの。しかし、私たちはそれをよく管理された方法でやりたいと思っています。それは旅です。」