1769552040
2026-01-27 21:58:00
研究者たちは、自律性が高まる人工知能システムに対する過信という重大な問題に取り組んでいます。 Salesforce AI Research の Jiaxin Zhang 氏、Caiming Xiong 氏、Chien-Sheng Wu 氏は、エラーが蓄積し、失敗の予測が難しい複雑な複数ステップのタスクに現在の調整手法を適用すると不十分であることを実証しました。彼らの研究では、新しい診断フレームワークであるホリスティック トラジェクトリ キャリブレーション (HTC) が導入されています。これは、全体的な進行状況から微細な安定性まで、タスクの「軌跡」全体にわたる信頼レベルを独自に評価し、AI の信頼性を確保する上で大きな進歩をもたらします。この研究では、複数のベンチマークと言語モデルにわたるキャリブレーションと識別を改善するだけでなく、解釈可能性、転送可能性、一般化機能も提供することで、信頼できる自律エージェントを構築するための新しいプロセス中心のアプローチを確立します。
HTC は、マクロなダイナミクスからミクロな安定性に至るまで、エージェントの軌跡から豊富なプロセス レベルの特徴を抽出し、その意思決定プロセスの包括的な理解を提供します。
シンプルでありながら解釈可能なモデルを活用したこのフレームワークは、強力なベースラインを上回り、精度の向上だけでなく、重要な洞察も提供します。 なぜ エージェントが成功するか失敗するか。この革新的なアプローチは、信頼性を単一の出力の静的な特性として扱うことから離れ、代わりに、信頼性を一連のプロセス全体を通じて蓄積される複合要因として認識します。この研究は、HTC を既存の手法と区別する 3 つの重要な進歩、つまり解釈可能性、移転可能性、一般化を明らかにしました。 HTC は、初期ステップのエントロピーや信頼度勾配など、障害の背後にあるシグナルを明らかにすることで解釈可能性を提供し、透過的な診断とガイド エージェント設計を可能にします。
さらに、このフレームワークは、再トレーニングせずにドメイン間で適用することで移行性を実現し、コストのかかるタスク固有のチューニングの必要性を軽減します。実験では、HTC がエージェント トレーニングに固有のデータ不足に効果的に対処していることが示されており、各軌跡は LLM 推論、ツールの対話、および人間の評価を含む高価な実行を表しています。研究者らは、サンプル効率的で解釈可能な方法に焦点を当てることで、信頼性校正のためのプロセス中心のパラダイムを作成しました。この作業は単に精度を向上させるだけではありません。結果は、両方の HTC バリアントが推論ベースのベースラインを大幅に上回っており、特に Brier Score と AUROC で大きな向上を示していることを示しています。
最も困難なタスクにおいて、HTC-Reduced は HLE データセットで 0.031 の ECE と 0.09 の Brier スコアを達成し、普遍的な不確実性信号の分離におけるスパース性の利点を強調しました。付属のレーダー チャートで示される詳細な分析により、8 つのデータセットすべてにわたるフレームワークのパフォーマンスの包括的な概要が得られます。テストでは、ニューラル ベースラインがオーバーフィットしたり大きく変動したりすることが多い 100 ～ 400 の範囲のデータセット サイズにわたって、一貫して低い平均誤差と劇的に小さい分散を達成し、小規模データ領域における HTC の堅牢性を証明しています。科学者は、GPT-4.1 から GPT-OSS-20B までの SimpleQA データセット上の 6 つの異なる LLM にわたって、HTC による一貫した大幅な改善を記録し、各モデルの特定の欠陥も修正しました。
この研究により、HTC がモデルに依存せず、さまざまなエージェント システムの信頼性を向上させるプラグ アンド プレイ モジュールとして機能し、GPQA の GPT-4.1 を使用する軽量スモラジェントと高度に最適化された OAgent アーキテクチャの両方で大幅な向上を実現できることが確認されました。測定により、失敗を最も予測するシグナルはタスクに依存していることが確認されています。機能セットとその相対的な重要性は、タスクの認知的要求に基づいて変化します。 「検索してから合成する」タスクである SimpleQA の場合、最も予測性の高い機能はダイナミクス、安定性、位置にわたってバランスが取れており、複数の段階で障害が発生する可能性があることが示唆されています。逆に、複雑な推論タスク GPQA では、特徴の重要性がポジション カテゴリに大きく集中しており、プロセスの開始時と終了時のエージェントの認知状態がプロセス全体の最も強力な要約であることを示しています。この診断分析により、シグナルの一般的な階層が明らかになり、エージェントの障害の性質について深い洞察が得られ、信頼性の調整に対するより解釈しやすいアプローチが可能になります。
HTC がレッドチームを通じて LLM の障害シグナルを明らかに
科学者たちは、自律システムに移行する高度な言語モデルは、タスクに失敗した場合でも過信を示すことを実証しました。 HTC は、マクロ ダイナミクスからミクロな安定性まで、タスクの軌跡全体にわたってプロセス レベルの特徴を独自に抽出し、信頼性を評価します。 HTC はパフォーマンスの向上に加えて、障害を示す信号を明らかにすることで解釈可能性を提供し、再トレーニングすることなく異なるドメイン間で効果的に機能することで移行性を可能にします。 General Calibrator (GAC) コンポーネントは、ドメイン外の GAIA ベンチマークで最先端のキャリブレーションを実現し、強力な一般化機能を実証します。
機能の重要性を分析すると、SimpleQA のようなタスクでは障害信号がダイナミクス、安定性、位置全体に分散されているのに対し、複雑な推論を必要とするタスクである GPQA はエージェントの初期および最終の認知状態に大きく依存していることが明らかになりました。この研究では、位置的特徴が主な故障指標として機能し、プロセス全体にわたる安定性とダイナミクスの評価によって補完される、階層的な診断アプローチが重要であることが確認されています。単一の機能カテゴリだけでは十分ではありませんが、それらを組み合わせることでパフォーマンスが大幅に向上し、多様な診断信号を統合することの価値が強調されます。
#全体的な軌道キャリブレーションにより複雑な複数ステップの自律システムの信頼性が向上