人工知能の使用が医療全体に拡大するにつれて、何が起こるかについての正当な懸念がたくさんあります。 新しい常態 この強力で急速に変化するテクノロジーを中心に構築されています。 労働に関する懸念や広範な苦悩がある 公平性、倫理、公平性 –そしておそらく一部の人にとっては、インテリジェントなマシンが強力になりすぎるディストピア的な未来への恐怖もあります。
しかし、AI と機械学習の可能性も非常に大きいです。 予測分析は健康状態の改善を意味する可能性がある 個人向けと 人々の健康を大きく変える可能性のある進歩 その間 コストの針を動かす。
良い面を活かし、悪い面から保護する規制のバランスを見つけることは大きな課題です。
政府と医療指導者は、これまで以上に断固として、 人種的偏見に対処し、安全を守り、「正しく理解する」ことです。 対応を誤ると、患者に損害を与え、信頼を損ない、医療機関に法的責任が生じる可能性があります。
私たちは、メイヨー クリニック プラットフォームのメディカル ディレクターであり、病院内科のシニア アソシエート コンサルタントであるソーニャ マクニ博士にヘルスケア AI の最近の開発について話を聞き、パフォーマンス、一般化可能性、臨床的妥当性の追跡に関する重要な課題のいくつかについて話し合いました。
Makhni 氏は、ヘルスケア AI モデルの使用をどのように評価すべきかを説明し、特定のモデルのパフォーマンスを理解することの重要性の一例として再入院 AI の使用を挙げました。
Q. AI ソリューションを提供するとは、一般的に何を意味しますか?
A. AI ソリューションは単なるアルゴリズムではありません。ソリューションには、実際のワークフローで機能させるために必要なものもすべて含まれています。 AI ソリューションを開発して提供する際には、考慮すべき重要なフェーズがいくつかあります。
1 つ目はアルゴリズムの設計および開発フェーズです。 この段階では、ソリューション開発者は臨床関係者と緊密に連携して、解決すべき問題と利用可能なデータを理解する必要があります。
次に、ソリューション開発者はアルゴリズム開発のプロセスを開始できます。このプロセス自体は、(他の重要なステップの中でも特に) データの調達と前処理、モデルのトレーニングとモデルのテストなどの多くのステップで構成されています。
アルゴリズムの開発に続いて、AI ソリューションはサードパーティのデータで検証される必要があり、理想的には独立した当事者によって実行されます。 初期データセットでは良好なパフォーマンスを発揮するアルゴリズムでも、異なる人口統計を表す別のデータセットではパフォーマンスが異なる場合があります。 外部検証は、アルゴリズムの一般化可能性と偏りを理解するための重要なステップであり、すべての臨床 AI ソリューションで完了する必要があります。
ソリューションは臨床ワークフローでもテストされる必要があり、これはパイロット研究、前向き研究、試験、および進行中の現実世界での証拠研究を通じて達成できます。
AI ソリューションのパフォーマンス、一般化可能性、バイアス、臨床的妥当性が評価されると、そのアルゴリズムを実際の臨床ワークフローに統合する方法を検討し始めることができます。 これは重要かつ困難なステップであり、十分な検討が必要です。
臨床ワークフローは、医療システム、臨床状況、専門分野、さらにはエンドユーザーにわたって異種混合です。 予測出力が、適切なタイミングで、適切な患者に対して、適切な方法でエンドユーザーに伝達されることが重要です。 たとえば、すべての AI ソリューションでエンドユーザーが別の外部デジタル ワークフローに移動する必要がある場合、これらのソリューションは広く普及しない可能性があります。 ワークフローへの統合が最適ではない場合、偏見が永続したり、臨床転帰が悪化したりする可能性さえあります。
可能であれば、臨床関係者、実装科学者、ヒューマンファクターの専門家と緊密に連携することが重要です。
最後に、アルゴリズムが展開されている限り、ソリューションを監視し、改良する必要があります。 アルゴリズムのパフォーマンスは時間の経過とともに変化する可能性があるため、AI ソリューションの数学的パフォーマンスと臨床結果の両方を定期的に (またはリアルタイムで) 評価することが重要です。
Q. AIの開発においてバイアスが入り込みやすいポイントは何でしょうか？
A. AI を効果的に活用すれば、病気の診断と治療の方法を改善、さらには変革することができます。
ただし、AI 開発ライフサイクルの各ステップで仮定と決定が行われるため、これらの仮定が間違っている場合は、系統的なエラーが発生する可能性があります。 このようなエラーは、患者のサブグループに対するアルゴリズムの最終結果を歪め、最終的には医療の公平性にリスクをもたらす可能性があります。 この現象は既存のアルゴリズムで実証されており、アルゴリズム バイアスと呼ばれます。
たとえば、アルゴリズムを設計していて、本質的にバイアスのある結果変数を選択した場合、このアルゴリズムの使用によってバイアスが永続化する可能性があります。 または、データ前処理ステップ中に行われた決定が、意図せずに特定のサブグループに悪影響を与える可能性があります。 バイアスは、展開を含むすべてのフェーズで導入および/または伝播される可能性があります。 主要な関係者を巻き込むことで、アルゴリズムのバイアスによって引き起こされるリスクや予期せぬ影響を軽減できます。
ほぼすべての AI アルゴリズムにはバイアスがあると考えられます。
これは、アルゴリズムが使用できないという意味ではありません。 これは、アルゴリズムがどこに偏っているかを知る上での透明性の重要性を強調しています。 アルゴリズムは、ある集団ではうまく機能することも、別の集団ではうまく機能しない場合もあります。 このアルゴリズムは結果を改善する可能性があるため、前者でも引き続き使用できますし、使用する必要があります。 ただし、パフォーマンスが低い母集団には使用しないことが最善です。
バイアスのあるアルゴリズムは依然として有用ですが、それはそれを使用するのが適切な場合と不適切な場合を理解している場合に限られます。
メイヨー クリニック プラットフォームでは、エンドユーザーが臨床ケアで AI ソリューションを安全かつ適切に使用する方法をよりよく理解できるように、アルゴリズムを検証し、定量的バイアス評価を実行するツールを開発しました。
Q.AI ユーザーは、再入院 AI などのツールを使用するときに何を考えなければなりませんか?
A. AI アルゴリズムのユーザーは、潜在的にバイアスが導入される可能性がある場所を理解するためのフレームワークとして AI 開発ライフ サイクルを使用する必要があります。
理想的には、可能であれば、ユーザーはアルゴリズムの予測変数と結果変数を認識している必要があります。 ただし、より複雑なアルゴリズムを使用する場合、これを実行するのはさらに困難になる可能性があります。 アルゴリズムの入力および出力として使用される変数を理解すると、エンドユーザーが誤った仮定や問題のある仮定を検出するのに役立ちます。 たとえば、それ自体にバイアスがかかっている結果変数が選択される場合があります。
エンドユーザーは、モデル開発中に使用されるトレーニング母集団についても理解する必要があります。 AI ソリューションは、モデルが適用される母集団を代表しない母集団でトレーニングされた可能性があります。 これは、モデルの一般化可能性に注意する必要があることを示している可能性があります。 そのために、ユーザーはアルゴリズムが開発中にどの程度うまく機能したか、またアルゴリズムが外部で検証されたかどうかを理解する必要があります。
理想的には、すべてのアルゴリズムは定量的および定性的なバイアス評価を受ける必要があります。 これは、ユーザーが人種、年齢、性別などによって異なるさまざまなサブグループにおける数学的パフォーマンスを理解するのに役立ちます。ソリューション開発者が実施する定性的バイアス評価は、潜在的なアルゴリズムのバイアスの結果として将来発生する可能性のある状況をユーザーに警告するのに役立ちます。 これらのシナリオに関する知識は、ユーザーがパフォーマンスにおける意図しない不均衡をより適切に監視し、軽減するのに役立ちます。
再入院 AI ソリューションも同様の要素に基づいて評価される必要があります。
具体的には、パフォーマンスが異なる特定のサブグループがあるかどうかをユーザーが理解する必要があります。 これらのサブグループは、異なる人口統計の患者、または異なる診断を受けた患者で構成されている可能性があります。 これは、臨床医がモデルの予測出力が最も適切で信頼できるかどうか、またその時期を評価するのに役立ちます。
Q. AIのリスクやリスク管理についてはどう考えていますか？
A. 一般に、私たちはリスクを運用上のリスクと規制上のリスクとして考えます。 これらの項目は、デジタル ヘルス ソリューションがプライバシー、セキュリティ、規制法にどのように準拠しているかに関連しており、あらゆる評価において重要です。
臨床についても検討を始めるべきです。
言い換えれば、AI ソリューションが臨床転帰にどのような影響を与える可能性があるか、アルゴリズムが間違っていたり偏っていたり、アルゴリズムに対して行われたアクションが誤っていたり偏っていたりした場合にどのような潜在的なリスクがあるかを考慮する必要があります。
リスクの観点から AI ソリューションを最大限に構築するのは、ソリューション開発者とエンドユーザーの両方の責任です。
これを行うには多くの方法があると思われますが、メイヨー クリニック プラットフォームはこれを達成するために独自のリスク分類システムを開発しました。AI ソリューションは外部で使用する前に認定プロセスを受けることになります。
Q. 臨床医と医療システムは、AI ソリューションの作成と提供のプロセスにどのように関与できますか?
A. 臨床医とソリューション開発者は、AI 開発ライフサイクル全体およびソリューション展開を通じて協力して作業する必要があります。
潜在的なバイアス領域や次善のパフォーマンスを予測するには、双方の積極的な関与が必要です。 この知識は、特定の AI アルゴリズムにより適したコンテキストと、おそらくより多くの監視と監視が必要なコンテキストを明確にするのに役立ちます。 導入フェーズでは、関連するすべての利害関係者も参加する必要があり、AI ソリューションは慎重に監視され、必要に応じて改良される必要があります。
Andrea Fox は、Healthcare IT News の上級編集者です。
Eメール： [email protected]
Healthcare IT News は HIMSS Media の出版物です。