安全で公平な AI には、法律や関与する人間によるガードレールが必要です

医療機関は、安全性と透明性に対する正当な懸念のため、新しい人工知能ツールやその他の最先端のイノベーションの導入が遅れることがあります。しかし、ケアの質と患者の転帰を向上させるために、医療にはこうしたイノベーションが必要です。

ただし、これらは正しく倫理的に適用されることが不可欠です。生成 AI アプリケーションが医学部の試験に合格したからといって、それが開業医になれるわけではありません。医療機関は、AI と大規模な言語モデルの最新の進歩を利用して、これらのテクノロジーの力を医療専門家の手に委ね、より優れた、より正確で安全なケアを提供できるようにする必要があります。

ティム・オコンネル博士は、現役の放射線科医であり、非構造化データを変換する AI を活用したテクノロジーの開発者である emtelligent の CEO 兼共同創設者です。

についてより深く理解するために私たちは彼と話をしました。 医療における AI のガードレールの重要性 それは医療実践の近代化に役立つからです。また、アルゴリズムによる差別がどのように健康上の不平等を永続させる可能性があるか、AI の安全基準を確立するための立法措置、そしてなぜ人間が関与することが不可欠なのかについても話し合いました。

Q. AI テクノロジーは医療の近代化に役立つため、ヘルスケアにおける AI のガードレールの重要性は何ですか?

A. AI テクノロジーは、医療提供者、支払者、研究者、患者に刺激的な可能性をもたらし、より良い結果と医療費の削減の可能性をもたらします。ただし、AI、特に医療 AI の可能性を最大限に発揮するには、医療専門家がこれらのテクノロジーの機能と限界の両方を理解できるようにする必要があります。

これには、非決定論、幻覚、ソース データを確実に参照する際の問題などのリスクの認識が含まれます。医療専門家は、AI の利点に関する知識だけでなく、その潜在的な落とし穴についても批判的に理解し、さまざまな臨床現場でこれらのツールを安全かつ効果的に使用できるようにする必要があります。

AI を安全かつ倫理的に使用するには、一連の思慮深い原則を策定し、遵守することが重要です。これらの原則には、プライバシー、セキュリティ、偏見に関する懸念への対処が含まれるべきであり、透明性、説明責任、公平性に根ざしたものでなければなりません。

偏見を減らすにはAIシステムのトレーニングが必要 診断と健康転帰の歴史的な差異を説明するより多様なデータセットを利用するとともに、AI システムが現実世界の医療ニーズに確実に適合するようにトレーニングの優先順位を変更します。

ガードレールの開発を含む多様性、透明性、堅牢な監視に重点を置くことで、AI がエラーに対する耐性を維持し、医療成果の有意義な改善を促進する非常に効果的なツールとなることが保証されます。

ここでは、適切に設計された規制、倫理ガイドライン、運用上の安全措置の形でのガードレールが重要になります。これらの保護は、AI ツールが責任を持って効果的に使用されることを保証し、患者の安全、データ プライバシー、アルゴリズムのバイアスに関する懸念に対処するのに役立ちます。

また、説明責任のメカニズムも提供し、AI システムからのエラーや意図しない結果を特定の意思決定ポイントまで追跡して修正できるようにします。この文脈において、ガードレールは保護手段とイネーブラーの両方として機能し、医療専門家が潜在的なリスクから保護しながら AI システムを信頼できるようにします。

Q. アルゴリズムによる差別はどのようにして健康の不平等を永続させるのでしょうか?この問題を解決するために何ができるでしょうか?

A. 私たちが医療現場で依存している AI システムが適切に開発され、トレーニングされていない場合、アルゴリズムによる差別の非常に現実的なリスクが存在します。患者集団や臨床特徴の全範囲を表すほど大きくも多様性もないデータセットでトレーニングされた AI モデルは、偏った結果を生成する可能性があり、実際に生成されます。

これは、AI が、人種的または民族的少数派、女性、社会経済的背景が低い人、非常にまれまたはまれな症状を持つ人など、十分なサービスを受けられていない人々に対して、精度が低い、または効果が低いケアの推奨事項を提供する可能性があることを意味します。

たとえば、医療言語モデルが主に特定の人口統計からのデータに基づいてトレーニングされている場合、さまざまな病状や文化的背景を反映する臨床ノートから関連情報を正確に抽出するのは困難になる可能性があります。これは、診断の見逃し、患者の症状の誤解、またはモデルが適切に認識するように訓練されていない集団に対する効果のない治療推奨につながる可能性があります。

実際、AI システムは、特に従来の医療制度では十分なサービスを受けられていない人種的少数派、女性、社会経済的背景が低い患者にとって、軽減するはずだった不平等そのものを永続させる可能性があります。

この問題に対処するには、次のことが重要です。 AI システムが大規模で非常に多様なデータセットに確実に構築されるようにする 幅広い患者層、臨床症状、健康状態を把握します。これらのモデルのトレーニングに使用されるデータは、システムの出力が医療の狭い視野に偏ることを避けるために、さまざまな人種、民族、性別、年齢、社会経済的地位を代表するものでなければなりません。

この多様性により、モデルは多様な集団や臨床シナリオにわたって正確に実行できるようになり、偏見が永続するリスクが最小限に抑えられ、AI がすべての人にとって安全で効果的であることが保証されます。

Q. ヘルスケアにおける AI にとって人間の関与が不可欠なのはなぜですか?

A. AI は膨大な量のデータを処理し、人間の能力をはるかに上回る速度で洞察を生み出すことができますが、質の高いケアを提供するために不可欠な複雑な医療概念の微妙な理解を欠いています。ヘルスケア分野における AI にとって、ループに参加する人間は不可欠です。アルゴリズムが正確、安全、倫理的に実行されることを保証するために必要な臨床専門知識、監視、コンテキストを提供してくれるからです。

ユースケースの 1 つを考えてみましょう。それは、臨床記録、検査報告書、その他の医療文書からの構造化データの抽出です。人間の臨床医が開発、トレーニング、継続的な検証を指導しないと、AI モデルは重要な情報を見逃したり、医療専門用語、略語、臨床用語の文脈固有のニュアンスを誤解したりするリスクがあります。

たとえば、システムが症状を重大なものとして誤ってフラグを立てたり、医師のメモに埋め込まれた重要な情報を見落としたりする可能性があります。人間の専門家は、これらのモデルを微調整して、複雑な医学用語を正確に捉えて解釈できるようにすることができます。

ワークフローの観点から見ると、ループ内の人間は、AI 主導の洞察を解釈し、それに基づいて行動するのを支援できます。 AI システムが正確な予測を生成する場合でも、医療上の意思決定には、多くの場合、臨床医のみが提供できるレベルのパーソナライゼーションが必要です。

人間の専門家は、AI の出力と臨床経験、患者の固有の状況に関する知識、より広範な医療トレンドの理解とを組み合わせて、情報に基づいた思いやりのある意思決定を行うことができます。

Q. 医療における AI の安全基準を確立するための立法措置の状況はどうなっていますか?また、立法者は何をする必要がありますか?

A. 医療における AI の安全基準を確立するための法整備はまだ初期段階にありますが、臨床現場での AI テクノロジーの安全かつ倫理的な使用を確保するための包括的なガイドラインと規制の必要性についての認識が高まっています。

いくつかの国が AI 規制の枠組みを導入し始めており、その多くは安全性、公平性、透明性、説明責任を強調する、信頼できる基本的な AI 原則に基づいており、こうした議論が形成され始めています。

米国では、食品医薬品局が AI ベースの医療機器、特に医療機器としてのソフトウェア (SaMD) に対する規制の枠組みを導入しました。 FDA が提案したフレームワークは、AI パフォーマンスの継続的な監視、更新、リアルタイム評価を重視することで、信頼できる AI の原則に沿った「トータル製品ライフサイクル」アプローチに従っています。

ただし、このフレームワークは AI 駆動型デバイスに対応していますが、複雑な臨床データを扱う非デバイス AI アプリケーションによってもたらされる課題をまだ完全には考慮していません。

昨年11月、アメリカ医師会は、 AI利用に関するガイドライン案を公開 倫理的、公平、責任ある、透明性のある方法で。

AMA はその「拡張知能の開発、展開、使用に関する原則」の中で、AI は人間の知能に取って代わるものではなく強化するものであるという立場を強化し、「医師コミュニティがこれらのツールの開発を、最適な方法で指導するのに役立つことが重要である」と主張しています。医師と患者の両方のニーズを把握し、特に AI が直接の患者ケアに影響を与える場合に、組織のリスク許容度を定義するのに役立ちます。」

政策立案者、医療専門家、AI開発者、倫理学者間のこの協力を促進することで、患者の安全と技術進歩の両方を促進する規制を策定することができます。議員は、これらのテクノロジーが最高の安全性と倫理基準を満たしていることを確認しながら、AI イノベーションが繁栄できる環境を作り出すために、バランスを取る必要があります。

これには、新たな AI の進歩への機敏な適応を可能にする規制の開発が含まれ、AI システムが柔軟で透明性を保ち、医療の進化するニーズに確実に対応できるようにします。

LinkedIn で Bill の HIT 報道をフォローしてください。 ビル・シウィッキー
彼にメールを送ります: [email protected]
ヘルスケア IT ニュースは HIMSS メディアの出版物です