監査フレームワークが「ブラックボックス」医療 AI への洞察を提供

2024 年 2 月 16 日 – スタンフォード大学とワシントン大学の研究者は、 発展した 医療人工知能 (AI) モデルの「ブラック ボックス」意思決定プロセスを明らかにするために設計された監査フレームワーク。

の 「ブラックボックス」問題 AI ツールのユーザーが AI ツールがどのように意思決定を行っているかを理解できないという永続的な問題です。 システムの内部動作は目に見えないため、ユーザーはモデルの出力を信頼して受け入れることがより困難になることがよくあります。

この信頼の欠如は、医療における AI の導入に対する大きな障壁となっており、利害関係者は AI の導入を推進しています。 説明可能性の向上 ツールの中で。

この目的を達成するために、研究者らは、これらのモデルの推論プロセスを明らかにするための監査アプローチの開発に着手しました。

このフレームワークは人間の専門知識と生成 AI を活用して評価を行います。 分類子、データ入力の分類に役立つアルゴリズム。

このアプローチをテストするために、研究チームは、皮膚病変の画像を「良性の可能性が高い」または「悪性の可能性が高い」と特徴付けるタスクを課して、5 つの皮膚科 AI 分類器を研究しました。 そこから、各分類器とペアになったトレーニング済みの生成 AI モデルを使用して、各分類器にとって「より良性」または「より悪性」に見えるように設計された修正病変画像が作成されました。

次に、2 人の皮膚科医が画像を評価して、どの画像特徴が分類器の意思決定に最も大きな影響を与えたかを判断しました。

その際、研究者らは、分類器が背景の肌の質感やカラーバランスなどの望ましくない特徴と、病変の色素沈着パターンなどの皮膚科医が利用する特徴の両方を使用していることを発見しました。

「特定の皮膚科 AI 分類器のトレーニング セットには、たまたま毛深い皮膚に現れた、生検で確認された真の黒色腫の画像が非常に多く含まれていたため、分類器が黒色腫の可能性と毛深さとの間に誤った関連付けを行った可能性があります。と先輩が説明してくれました 勉強 共著者でスタンフォード大学の生物医学データサイエンスと皮膚科学の助教授であるロクサナ・ダネシュジュー医学博士がニュースリリースで述べた。

研究チームは、モデルの意思決定に関するこれらの洞察は、開発者が AI がデータセット内の偽の相関に依存しているかどうかを判断するのに役立ち、医療現場に導入する前にこれらの問題を解決するのに役立つ可能性があることを示しました。

Apple や Android のアプリ ストアで消費者がこれらのツールをより多く利用できるようになるにつれて、皮膚科 AI の「ブラック ボックス」問題に対処することも研究者にとっての主要な優先事項です。

「消費者は現時点で何を得ることができるのか本当に分かっていないため、これらの消費者直販アプリは懸念されています」とダネシュジュー氏は述べた。 「AI アルゴリズムの決定を理解することは、これらのモデルが臨床的に重要な特徴に基づいて決定を行っているかどうかを示すのに役立ちます。」

研究チームはさらに、説明可能な AI アプローチがツールの精度とユーザーの信頼を高める鍵であることを強調しました。

「医療 AI 分類器がその推論プロセスを調査し、人間のユーザーや開発者に可能な限り理解できるようにすることで、適切な審査を受けることが重要です。完全に実現されれば、AI は医療の特定の分野を変革し、患者の状態を改善する力を持ちます」と Daneshjou 氏は述べました。結果。」

ヘルスケア AI の「ブラック ボックス」問題に関する懸念には、臨床医がこれらのツールに依存するようになるのではないかという懸念が伴います。

11月に インタビュー と HealthITA分析では、Sentara Healthcare と UC San Diego Health の専門家が、「ブラック ボックス」AI の課題、これらの問題に対処する方法、および臨床医の AI ツールへの過度の依存の問題に医療機関がどのように対処すべきかについて議論しました。