健康

放射線AIアプリケーションを評価するための5つのステップ

5段階のAIモデル検証プロセスPoffのアプローチは、AIモデルが放射線科医に意味のある価値を提供しながら、欠点を最小限に抑えることに焦点を当てています。彼の評価プロセスの5つの重要なステップには次のものがあります。 1。パフォーマンス統計： このステップでは、標準統計メトリックに基づいてAIツールの精度と効率を評価し、臨床使用に対するベースラインの期待を満たすことを保証します。 2。AI強化検出率： 重要なメトリックでは、AIツールが放射線科医が見逃した可能性のある発見を検出し、それにより診断パフォーマンスを改善するのに役立つかどうかを決定します。 3。すごいケース： これらは、AIツールが診断機能を大幅に強化し、その有効性の明確で影響力のある例を提供するインスタンスです。 4。AI落とし穴： AIモデルの制限と潜在的な弱点を理解することで、放射線科医がその欠点をナビゲートし、誤診を回避できます。 5。ゲインとペインの比率： 最後のステップでは、AIツールの利点が、ワークフローの破壊や誤検知など、実装の課題を上回るかどうかを評価します。実装AI実際にPoffは、展開前のAI評価に時間と専門知識を投資することの重要性を強調しました。データサイエンティストのチームであるRadiology Partnersでは、ITの専門家と医師のリーダーが協力して、AIモデルの遡及的分析を実施しています。過去のケースでAIツールがどのように実行されるかをシミュレートすることにより、彼らは患者ケアと放射線科医の効率に対する現実世界の影響を予測します。「基本的に、私たちはすべての仕事を前もって行います。これらのツールを患者に触れる前に、実際に多くの時間と労力を費やしています」とポフは説明しました。彼は、彼らが「レトロスペクティブの見返り」と呼ぶものを実行すると言いました。そこでは、AIで数ヶ月前の患者の症例を見ています。彼らはまた、放射線科医が新しいAIツールにアクセスした場合に何が起こったのか想像しています。彼は、これらのテストは、AIがどのように機能し、その精度と放射線科医を助ける能力を検証するかをより深く理解するのに役立つと述べた。「私たちは、これらのAIツールを持っていた場合、彼らの標準的なケアをどれだけ引き上げることができるかについての潜在的な利点を測定したいと思っています」と彼は説明しました。すべてのAIモデルがカットするわけではありませんFDAのクリアランスは検討の前提条件であるにもかかわらず、すべてのAIモデルが展開のしきい値を満たしているわけではありません。 Poffは、放射線科医がすでにそれらの症例を独立して特定しているため、崩壊した肺を識別できますが、値を付加できなかったが、肺炎胸部検出AIの例を共有しました。別の例は、アルゴリズムが正しいよりも頻繁に間違っている傾向がある場合、AIに対する不信感と放射線科医がそれを使用しないことです。「最終的に、それはワークステーションに座っている人間の放射線科医が、「このツールから価値を得ているように感じます」と言っています。彼らがそのように感じなければ、彼らはそれを横に置いてそれを無視するのが非常に迅速です」とポフは言いました。AIが検出率を高める場合、それは患者のケアを高めることができる特定のメトリックです。しかし、彼がそれを見ない場合、時間とドルを投資することを検討する前に一時停止を引き起こします。しかし、Poffは、AIツールから価値を得る他の方法があると述べました。「特に多くの患者がケアを必要としている患者がいる最近では、一部の患者をワークリストのトップに適切に連れて行くのに役立ちます。そのトリアージの利益だけで価値がある可能性があります」とポフは言いました。特定の実践ニーズに合わせてAIを調整しますPoffは、AIの価値は放射線科の実践の性質によって異なることを強調しました。救急部門のある病院は、脳卒中検出のためにAIツールを優先する可能性がありますが、外来患者の慣行は慢性疾患の監視のために設計されたツールでより大きな価値を見つける可能性があります。「すべてのAIソリューションはありません」と彼は言いました。 「基本的な評価でさえ、AIモデルが放射線科グループの特定のニーズと一致するかどうかを判断するのに役立ちます。」専用のAI評価チームを欠いている小規模の放射線診療のために、PoffはAIチャンピオンを任命することをお勧めします。これは、AIツールとその潜在的な影響を理解する責任があります。これには、その人がAIの専門家になり、その実践に関連するAIの研究を行うために時間を費やす必要があるかもしれません。彼はまた、AI評価を専門とする商業コンサルティング会社を活用することを提案しています。 #放射線AIアプリケーションを評価するための5つのステップ