Back to the Future：DeloreansとBig Shortから予測的な意思決定支援が学ぶことができること

で 私たちのシリーズの3番目のブログ ヘルスケアにおける人工知能（AI）および機械学習（ML）駆動型予測モデル（データ分析ツールまたはソフトウェア）で、これらの新興技術に関連するいくつかの潜在的なリスク（モデルの害と呼ばれることもあります）と、これらのリスクがどのように可能かについて議論しました。悪影響またはマイナスの結果につながります。これらの潜在的なリスクを考えると、一部の人は、ヘルスケアにおけるこれらの技術の使用を信頼できるかどうかを疑問視しています。

一部の利害関係者が 予測モデルは公正で、適切で、有効で、効果的で、安全です（お気に入り）、バイアスや害を増幅するのではなく。一部の利害関係者は、モデルの開発とリスクを最小限に抑えるために使用されるプロセスの説明、モデルのパフォーマンスの評価（ピアレビューされた文献でよく説明されていることが多い、新生報告ガイドラインに従って）、およびモデルがいつどのようにすべきかの明確な説明を通じてこれを示しています。使用されます。ただし、多くの場合、この情報は購入者、実装者、ユーザーが利用できません。その結果、予測モデルの品質を評価するために必要な情報は、これらのモデルが埋め込まれているか、認定Health ITと統合されている場合を含め、利用できません。

この一貫した情報の可用性（または情報の非対称性）の欠如は、ヘルスケアにおける予測意思決定支援介入（DSIS）の最適化を阻害する決定的な課題であると考えています。経済学の学生にとって、このタイプの不十分な情報または「品質の不確実性」は、最も有名な市場の失敗の1つであり、しばしば口語で呼ばれています 「レモンの市場」– 中古車の誤動作のための古代のスラングのように。 「レモンの市場」は、簡単に議論するいくつかの否定的なダイナミクスにつながる可能性があります。

ヘルスケアの一部の分野では、予測モデルでレモンの市場を見ていますか？

「レモンの「市場」に見られると予想される3つの古典的なダイナミクスがあり、ヘルスケアの予測モデルの市場のそれぞれの兆候を見ています。

1. 購入者またはユーザーは本物のレモンを取得します：潜在的な購入者またはモデルユーザーは、モデルが良好な品質であるかどうか確信が持てないため、適切でない方法で悪いモデルを使用するか、モデルを使用することになります（たとえば、環境の外側のモデルを設計または不正に使用する特定のタスクまたはコンテキストに適しています）。有名なことに、モデルの誤用とモデルリスクの過小評価により、モデルが住宅ローン担保証券のデフォルトのリスクを推定するために過度に依存し、米国の2008年の金融危機に直接貢献しました。過去数年間で、ヘルスケアの有名なインスタンスが見られました。ユーザーは、使用した、取得したモデルが正確ではないか、偏っていることを発見しました。
2. 「悪い」、購入していない予測モデルから「良い」を決定する不確実性と無能：潜在的なユーザーは、提供されているものが効果的であるかどうか、ヘビオイル、または自動車市場のようにラトルートラップかどうかわからないため、何も購入しません。臨床医のグループは、臨床医には、ツールが実践で機能するかどうかを知るために必要な情報がないことを共有しています。また、非常にシンプルなモデルの継続的な使用も見てきました。 数十年前に開発されました、予測モデルのようなより高度な代替品が存在する場合。より高度なモデルがこれらの単純なモデルを置き換えていない理由の1つは、より高度な代替品の品質に関する根本的な不確実性のためである可能性があります。 古い、シンプルなモデル。
3. 高品質のモデルの生産者またはサプライヤーは、ヘルスケア市場を撤退する可能性があります。 高品質のモデル生産者は、特に高品質が高コストで来る場合、市場を去ります。購入者が良いモデルを悪いモデルと区別できない場合、彼らはぎこちないモデルよりも高価な「良い」モデルにもっとお金を払うことを望まないでしょう。高品質の生産者は、財政的に実行不可能になり、市場を撤退し、悪い選択肢だけを残しています。あなたはanの概念に精通しているかもしれません 「不利なセレクションデススパイラル」 ヘルスケア業界の別の部分から。今、私たちは巨大なものを見ています エントリ そして 出口 ヘルスケアのモデルの市場から、品質に関する情報の不足がモデルの健全な市場の出現を阻害する可能性があることを認識しています。

予測モデルレモンの市場について何ができるでしょうか？

良いニュースは、レモンの市場を駆り立てる品質に関する限られた情報を解決できることです。うまくいけば、高品質の開発者が特定され、報酬が与えられるより堅牢な市場につながることです。

「レモンの市場」についてできる2つの古典的なことがあります。

1つのオプションは作成することです 品質認証、したがって、購入者は、特に購入者が確認するのが困難であり、低品質の意味が潜在的に災難である状況で、購入しているものの根本的な品質にある程度の信頼を持っています。たとえば、医療免許委員会は、医師がよく訓練されており、ヘビ油のセールスマンではないという自信を患者に与えるために作成されました。別の例は、もちろん、食品医薬品局（FDA）に由来しています。これは、もちろん、安全で効果的で、商業分布に適している多くの薬やその他の治療法を承認しました。 FDAも承認しました 約300の形態のAI/ML対応医療機器、これらのデバイスの使用を意図した使用に合わせて安全で効果的であり、これらのデバイスの開発者が連邦政府の品質基準に従って製造できるという証拠に基づいて、これらのデバイスの使用を「クリア」します。

2番目のオプションは、潜在的なユーザーが製品の品質または適切性を確認しやすくするために透明性を要求することです。それはおそらく、「レモンの市場」という名前の名前を付けたものに対する最も有名な反応です –Carfaxの車両歴史が報告しています、から生じるものを含む公開データの貯水池の上に構築 マイレージ法の真実 そして、事故の損傷報告を報告し、錆びたバケツの過剰充電が非常に難しくなっています。このアプローチの他の例には含まれます 食品栄養の事実ラベル そして店頭 薬物事実ラベル、製品に何が含まれているか、それが何をすべきか、誰がそれを使用すべきではないか、それを使用すべきではない人、そしてそれをどのように使用すべきかについての情報を提供します。

ヘルスケアにおける予測DSIの場合、モデル検証と呼ばれるプロセスでさまざまなテストをモデルに適用することにより、モデル「ファクトラベル」などの情報を生成できます。ただし、金融サービス業界の経験は、モデルが高品質で適切に使用されることを確認するには、検証情報が十分ではないかもしれないことを強調しています。 2000年、米国財務省の通貨長官室（OCC）は、最初にモデル検証を発行しました モデルを検証するための原則を概説するためのガイダンス。 2008年の米国の金融危機におけるモデルの役割に拍車がかかった後、モデルのガイダンスの焦点は、モデルの検証だけでなく組織の能力と慣行も反映してリスク管理とガバナンスを含むように拡大しました。特に、連邦準備制度制度のOCCおよび米国委員会の理事会 SR 11-7と呼ばれる共同ガイダンス、効果的なモデルリスク管理フレームワークの重要な側面には、「堅牢なモデル開発、実装、および使用が含まれます。効果的な検証。サウンドガバナンス、ポリシー、およびコントロール。」

組織がAIシステムの設計、開発、展開、評価、および使用に関連する企業と社会の両方のリスクを管理するために、国立標準研究所と技術研究所が最近公開されました。 AIリスク管理のフレームワークの2番目のドラフト （AI RMF）。このフレームワークは、「AIライフサイクル全体でAIリスクに対処するための柔軟で構造化された測定可能なプロセスを提供する」ことを目的としています。

SR 11-7ガイダンスとAI RMFの両方は、モデルとAI/ML関連のテクノロジーのリスクを管理する際の組織能力の重要性にも注意を喚起します。このようなガイダンスとフレームワークは、両方の信頼を育むのに役立ちます 製品 どのリスクが管理されているか 組織 そして彼ら 実践 そのようなリスクを管理するために使用されます。

私たちは多くの既存および新たな努力を確立することを知っていますが ガイドライン、 フレームワーク、 そして 原則 最近を含むヘルスケアにおける予測モデルの最適化を奨励するため 業界の認識 評価、監視、およびガードレールの必要性については、健康のIT開発者またはユーザーが頻繁に開発したMLモデルをよく使用していることも知っています 接着しないでください そのようなガイドラインに。

シリーズの次の最終ブログでは、ONCがこの領域の情報の非対称性を改善し、ユーザーが予測DSIがお気に入りかどうかを判断できるようにするために、ONCが潜在的な方向性について説明し、使用を最適化するためにすべて取ることができるステップについて説明します。ヘルスケアにおけるアルゴリズムの。