医療機関は透明性と安全性を確保するために AI の周りにガードレールを設置する必要がある

ある調査によると、患者 10 人中 4 人が医師の暗黙の偏見を認識しています。 患者体験に関する MITRE-Harris 調査。 患者は医療提供者の偏見に特に敏感であることに加えて、AI ツールや機械学習モデルの使用も人種的偏見に偏ることが示されています。

関連して、 最近の研究では60%であることが判明 のアメリカ人は、医療提供者が AI に依存して医療を行うことに不快感を抱いていると考えています。 しかし、医療提供者の不足、償還の縮小、患者の需要の増加の間で、やがて医療提供者には次のような選択肢がなくなるかもしれません。 AIツールに目を向ける。

ヘルスケアITニュース 価値ベースのケア技術およびサービス会社である Lumeris の AI 専門家兼最高技術責任者である Jean-Claude Saghbini 氏に、これらについて話し合った。 医療における AI をめぐる懸念 – そして、医療提供者組織の医療 IT リーダーと臨床医がそれらに対して何ができるか。

Q. AI システムの人気が爆発的に高まる中、医療提供者組織の CIO やその他の医療 IT リーダーは、人工知能における暗黙の偏見とどのように闘えばよいでしょうか?

A. AI について話すとき、私たちは「トレーニング」や「機械学習」などの言葉をよく使います。 これは、AI モデルが主に人間が生成したデータに基づいてトレーニングされるため、人間のバイアスを学習するためです。 これらのバイアスは AI における重大な課題であり、患者の健康が危機に瀕し、AI の存在が医療の不公平を拡大し続けるヘルスケアにおいて特に懸念されます。

これに対抗するために、医療 IT リーダーは、採用しているソリューションに組み込まれている AI モデルについて理解を深める必要があります。 おそらくさらに重要なのは、新しい AI テクノロジーを導入する前に、リーダーは、これらのソリューションを提供するベンダーが AI バイアスがもたらす可能性のある害を認識しており、それを回避するためにそれに応じてモデルとツールを開発していることを確認する必要があります。

これには、上流のトレーニング データに偏りがなく多様性があることを確認することや、トレーニング データの切り離せないバイアスを補正するために出力に変換方法を適用することまで、多岐にわたります。

たとえば、Lumeris では、AI における偏見と戦うために多角的なアプローチを採用しています。 まず、私たちは医療における公平性と公平性への取り組みの一環として、基礎となるデータに表れる健康格差を積極的に研究し、適応させています。 このアプローチには、人口統計パターンの医療トレーニング データを分析し、特定の人口グループに不当な影響を与えないようにモデルを調整することが含まれます。

2 番目に、より多様なデータセットを使用してモデルをトレーニングし、モデルが対象となる母集団を代表していることを確認します。 これには、より広範囲の患者の人口統計、健康状態、ケア環境を表す、より包括的なデータセットの使用が含まれます。

最後に、健康データの社会的決定要因など、非伝統的な医療機能をモデルに埋め込んでおり、それによって予測モデルとリスク スコアが患者固有の社会経済的状態を確実に考慮できるようにしています。 たとえば、SDOH データを AI モデルに組み込むと、非常によく似た臨床症状を持つ 2 人の患者が、最適な結果を得るために異なる介入を指示される可能性があります。

また、当社は AI モデルの開発と展開に対して透明性のあるアプローチを採用し、ユーザーからのフィードバックを取り入れ、AI の推奨事項が臨床のベスト プラクティスと一致していることを確認するために人間の監視を適用しています。

AI における暗黙のバイアスと闘うには、AI 開発ライフサイクル全体を考慮した包括的なアプローチが必要であり、後回しにすることはできません。 これは、ヘルスケア AI の公平性と公平性を真に促進するための鍵となります。

Q. 医療システムは、医師が AI に頼ることを望まない患者と、自動化に助けを求めている過重な負担を抱えている医師の間でどのようにバランスを取っているのでしょうか?

A. まず 2 つの事実を調べてみましょう。 事実その 1 は、朝起きてから診察中に会うまでの間に、患者と医師の両方がすでに Alexa に天気について尋ねたり、天気予報を頼りにしたりするなど、AI を何度も使用している可能性があります。温度管理のための Nest デバイス、最適なルート案内のための Google マップなど。 AI はすでに私たちの生活のさまざまな側面に貢献しており、避けられないものになっています。

事実その2は、私たちは人材不足に向かっていることです。 2030年までに世界中の臨床医が1,000万人に、世界保健機関によると。 臨床医の能力を拡張し、この不足による悲惨な影響を軽減するために AI を使用することは、もはやオプションではありません。

患者さんが心配していることは十分に理解していますし、それは当然のことです。 しかし、私は、患者ケアにおける AI の使用と、AI ツールによって「治療されている」患者のことを考慮することをお勧めします。これは、ほとんどの人が心配していることだと私は考えています。

このシナリオは最近非常に誇張されていますが、実際のところ、AI エンジンがすぐに医師に取って代わるわけではありません。生成 AI などの新しいテクノロジーにより、切望されている規模を提供するエキサイティングな機会が私たちにはあります。患者と医師の両方の利益になります。 人間の専門知識と経験は依然として医療の重要な要素です。

AIによる治療を望まない患者と、AIシステムに助けを求める過重な負担を抱えた医師の間のバランスを取るのはデリケートな問題だ。 患者は自分の治療が機械に委任されているのではないかと懸念するかもしれませんが、医師は情報に基づいた意思決定を行うために検討する必要があるデータの量に圧倒されていると感じるかもしれません。

鍵となるのは教育です。 ニュースやオンラインの見出しの多くは、大惨事にしてクリックを集めるために作成されています。 これらの誤解を招く記事を避け、医療における AI の実際の経験とユースケースに焦点を当てることで、患者は、AI がどのように医師の知識を補完し、情報へのアクセスを加速し、データに隠されていても簡単に見逃してしまう可能性のあるパターンを検出できるかを理解することができます。最高の医師。

さらに、見出しではなく事実に焦点を当てることで、このツールと AI は単なるツールであり、ワークフローに適切に統合されれば、医師が運転席に座ったまま最適な治療を提供する医師の能力を強化できることも説明できます。患者に対する相互作用と責任の条件。 AI は現在も医療分野で貴重なツールであり、今後もそうなる可能性があり、医師に患者の転帰を改善し、コストを削減するための洞察と推奨事項を提供します。

私は個人的に、患者と医師の AI ニーズのバランスをとる最善の方法は、AI を人間の専門知識の代替としてではなく、臨床上の意思決定をサポートする補完的なツールとして使用することだと信じています。

たとえば、AI やその他のテクノロジーを活用した Lumeris テクノロジーは、医師が最終判断を下すことができるようにしながら、治療上の決定を導くために使用できる有意義な洞察と実用的な推奨事項を提供するように設計されています。

さらに、AI システムの開発と展開に関する会話に患者を参加させ、患者の懸念や好みを確実に考慮することが不可欠であると考えています。 AI が治療にもたらすメリットを理解すれば、患者は AI の使用をより積極的に受け入れるようになるかもしれません。

結局のところ、AI は医療にとって特効薬ではなく、むしろ、特に GPT などのいくつかの新しい基礎モデルを使用して、医師がより適切な意思決定を行い、医療プロセスを飛躍的に拡張および変革できるようにするツールであることを覚えておくことが重要です。

AI が適切かつ透過的に使用され、そのプロセスに患者が関与することを保証することで、医療機関は患者の好みと過重な負担を抱える医師のニーズとの間でバランスを取ることができます。

Q. AI テクノロジーがますます普及するにつれて、プロバイダーの幹部や臨床医は何に注意すべきですか?

A. 医療 IT における AI の使用は確かに多くの注目を集めており、トップの投資カテゴリーとなっています。 スタンフォードが発行した最新の AI インデックス レポート、しかし、医療のリーダーとして私たちはジレンマを抱えています。

可能性への興奮が私たちに迅速に行動するよう促していますが、そのテクノロジーの新しさ、そして時にはブラックボックス的な性質がいくつかの警戒を呼び起こし、速度を落として安全策を講じるよう促しています。 成功は、最大限の安全性とセキュリティを確保しながら実装を確実に行いながら、新しい AI ベースの機能の使用と導入を加速するバランスを取る能力にかかっています。

AI は高品質のデータに依存して、正確な洞察と推奨事項を提供します。 プロバイダー組織は、AI モデルのトレーニングに使用されるデータが完全かつ正確で、サービスを提供する患者集団を代表していることを確認する必要があります。

また、AI が最も正確で最新の情報を提供していることを確認するために、データの継続的な品質と整合性を注意深く監視する必要があります。 これは、事前トレーニング済みの大規模言語モデルの使用にも当てはまります。検証のアプローチが斬新であっても、品質と整合性の目標は変わりません。

先ほど述べたように、AI のバイアスは、健康格差の永続や臨床上の意思決定の有効性の低下など、医療に重大な影響を与える可能性があります。 プロバイダー組織は、バイアスを適切に補正しない AI モデルに注意する必要があります。

AI が医療分野でさらに普及するにつれて、医療提供者組織が AI をどのように使用しているかについて透明性を保つことが重要です。 さらに、間違いやエラーが見過ごされることを防ぐために、患者ケアにおける AI の使用について人間の監督と説明責任があることを確認する必要があります。

AI は、プライバシー、データの所有権、インフォームド・コンセントに関する問題など、医療における多くの倫理的考慮事項を引き起こします。 プロバイダー組織は、これらの倫理的考慮事項に留意し、直接的およびベンダー経由で間接的に AI を使用することが、倫理原則と価値観に沿っていることを確認する必要があります。

AI は、特に生成 AI と大規模言語モデルにおける新しくエキサイティングな進歩により、ヘルスケアやその他の分野で定着し、進化し続けています。 この進化を止めることは事実上不可能です。また、数十年にわたって医療分野でテクノロジーが急速に導入されてきたにもかかわらず、より良いケアを提供しながら臨床医の負担を軽減するソリューションをまだ提供できていないため、そうするのは賢明ではありません。

それどころか、ほとんどのテクノロジーでは、プロバイダーに新しいタスクと追加の作業が追加されています。 AI、より具体的には生成型 AI の出現により、このとらえどころのない目標に向けて最終的に有意義な進歩を遂げる大きな機会が得られると考えています。

しかし、私が列挙した理由により、透明性、偏見、安全性のためにガードレールを設ける必要があります。 十分に考え抜かれていれば、興味深いことに、これらのガードレールこそが、AI の導入と使用に対する反進化的な過剰反応を引き起こす可能性のある失敗から私たちを遠ざけ、導入への加速的な道筋を確実なものにしてくれるのです。

LinkedIn で Bill の HIT 報道をフォローしてください。 ビル・シウィッキー
彼にメールを送ります: [email protected]
Healthcare IT News は HIMSS Media の出版物です。