医療イメージングのあいまいさは、病気を特定しようとしている臨床医に大きな課題を提示する可能性があります。たとえば、胸部X線では、胸水、肺の液体の異常な蓄積である肺浸潤のように見えることがあります。これは膿または血液の蓄積です。
人工知能モデルは、微妙な詳細を特定し、診断プロセスの効率を高めるのに役立つことにより、X線分析の臨床医を支援できます。しかし、非常に多くの可能な条件が1つの画像に存在する可能性があるため、臨床医は、評価するAI予測を1つだけ持っているのではなく、可能性のセットを考慮したいと思うでしょう。
コンフォーマル分類と呼ばれる一連の可能性を生成する1つの有望な方法は、既存の機械学習モデルの上に容易に実装できるため便利です。ただし、実用的に大きいセットを作成できます。
MITの研究者は現在、予測セットのサイズを最大30％削減できるシンプルで効果的な改善を開発し、予測をより信頼できるものにしています。
予測セットが小さくなると、臨床医が適切な診断をより効率的にゼロにするのに役立つ可能性があり、患者の治療を改善および合理化する可能性があります。この方法は、さまざまな分類タスク（たとえば、野生動物公園の画像内の動物の種を特定するため）にわたって役立つ可能性があります。
「考慮すべきクラスが少ないと、一連の予測は、より少ない選択肢のどちらかを選択するという点で自然に有益です。ある意味では、より有益なものの精度の点で何も犠牲にしていません」
Shanmugamが参加します 紙 ヘレン・ルー’24による;現在、リリア・バイオサイエンスの研究科学者である元MITポスドクであるスワミ・サンカラナラヤナン。上級著者のジョン・ガッタグ、Dugald C. Jackson MITのコンピューターサイエンスおよび電気工学の教授であり、MITコンピューターサイエンスおよび人工知能研究所（CSAIL）のメンバー。この研究は、6月のコンピュータービジョンとパターン認識に関する会議で発表されます。
予測保証
医療画像の病気を分類するなど、ハイステークスタスク用に展開されたAIアシスタントは、通常、各予測とともに確率スコアを生成するように設計されているため、ユーザーはモデルの信頼性を評価できます。たとえば、モデルは、画像がPleurisyのような特定の診断に対応する可能性が20％あると予測する場合があります。
しかし、これらの確率が不正確である可能性があることを示しているため、モデルの予測される自信を信頼することは困難です。コンフォーマル分類により、モデルの予測は、正しい診断がセットのどこかにあることを保証する最も可能性の高い診断のセットに置き換えられます。
しかし、AI予測に固有の不確実性は、多くの場合、モデルが大きすぎて役に立たない出力セットを出力します。
たとえば、モデルが画像内の動物を10,000の潜在的種の1つとして分類している場合、200の予測セットを出力して、強力な保証を提供できる可能性があります。
「それは、誰かがふるいにかけて、適切なクラスが何であるかを理解するためのかなりの数のクラスです」とシャンムガムは言います。
この手法は、画像をわずかに回転させるなど、入力の小さな変更が完全に異なる予測セットを生成できるため、信頼できない場合もあります。
コンフォーマル分類をより便利にするために、研究者は、テスト時間増強（TTA）と呼ばれるコンピュータービジョンモデルの精度を改善するために開発された手法を適用しました。
TTAは、データセット内の単一の画像の複数の拡張を作成します。おそらく画像をトリミングしたり、ひっくり返したり、ズームインしたりするなどします。その後、同じ画像の各バージョンにコンピュータービジョンモデルを適用し、予測を集約します。
「このようにして、単一の例から複数の予測を取得します。このようにして予測を集約すると、精度と堅牢性の点で予測が改善されます」とシャンムガムは説明します。
精度を最大化します
TTAを適用するために、研究者は、コンフォーマル分類プロセスに使用されるラベル付き画像データを差し引いています。彼らはこれらの保有データの増強を集約することを学び、基礎となるモデルの予測の精度を最大化する方法で画像を自動的に拡張します。
その後、モデルの新しいTTA変換された予測に関するコンフォーマル分類を実行します。コンフォーマル分類器は、同じ信頼保証のために小さな可能性のある予測セットを出力します。
「テスト時間の増強とコンフォーマル予測を組み合わせることは、実装が簡単で、実際に効果的であり、モデル再訓練は必要ありません」とShanmugam氏は言います。
いくつかの標準画像分類ベンチマークにわたるコンフォーマル予測の以前の作業と比較して、それらのTTA高級法は、実験全体で10〜30％に予測セットサイズを減らしました。
重要なことに、この手法は、確率保証を維持しながら、予測セットサイズのこの削減を達成することです。
また、研究者たちは、通常、コンフォーマル分類手順に使用されるラベル付きデータを犠牲にしているにもかかわらず、TTAはそれらのデータを失うコストを上回るのに十分な精度を高めることを発見しました。
「モデルトレーニング後にラベル付きデータをどのように使用したかについて興味深い質問を提起します。さまざまなトレーニング後の手順間でラベル付けされたデータの割り当ては、将来の作業にとって重要な方向です」とShanmugam氏は言います。
将来、研究者は、画像の代わりにテキストを分類するモデルのコンテキストで、このようなアプローチの有効性を検証したいと考えています。作業をさらに改善するために、研究者はTTAに必要な計算量を減らす方法も検討しています。
この研究は、一部にはWistrom Corporationによって資金提供されています。
#AIモデルをハイステークス設定に対してより信頼できるようにする #MITニュース