FDAの医療機器の抜け穴は患者に危害を与える可能性があると研究が警告

メリーランド大学医学部、UMD ヘルスコンピューティング研究所、VA メリーランド州ヘルスケア システムの医師や研究者は、臨床データを要約した大規模な言語モデルが米国食品医薬品局の機器免除基準を満たし、患者に損害を与える可能性があることを懸念しています。 。

なぜ重要なのか

FDAの監視なしで臨床記録、投薬、その他の患者データを要約する人工知能が間もなく患者、医師、研究者に届くようになるだろうと、新しい論文で述べた。 観点 月曜日にJAMAネットワークに掲載された。

彼らは、臨床意思決定支援ソフトウェアに関する FDA の最終ガイダンスを分析しました。 著者らによると、当局はこれが規制された機器の機能として「タイムクリティカルな」意思決定を伴うものと解釈しており、それにはLLMによる臨床概要の生成が含まれる可能性があるという。

ChatGPTのリリースの約2か月前に発表されたこのガイダンスは、「LLMがFDAの規制を回避する方法についての意図しない『ロードマップ』を提供するものである」と研究者らは述べた。

生成 AI は日常の臨床業務を変えます。 医師や看護師の燃え尽き症候群を軽減し、医療業務の効率を向上させることが期待されているため、大きな注目を集めていますが、臨床記録、投薬、その他の形式の患者データを要約する LLM は、「臨床医の意思決定に重要かつ予測できない影響を与える可能性があります。作っている」と研究者らは語った。

彼らは、ChatGPT と匿名化された患者記録データを使用してテストを実施し、要約出力を検査し、その結果は「」を超えた疑問を引き起こしていると結論付けました。正確さ。」

「臨床現場では、お世辞的な要約は、臨床医の既存の疑いと一致する事実を強調したり強調したりする可能性があり、診断ミスを増加させる確証バイアスの危険性がある」と研究者らは述べた。

「たとえば、架空の患者の過去の入院状況を要約するように求められた場合、心筋梗塞や肺炎の懸念があるかどうかに応じて、要約は臨床的に意味のある方法で変化した。」

筆頭著者であるキャサリン・グッドマンは、UMD医学部疫学・公衆衛生学科の法律専門家であり、患者への悪影響を理解するために臨床アルゴリズムと法規制を研究しています。

彼女と研究チームは、LLM が生成した要約は非常にばらつきがあることがわかったと述べました。 本格的な幻覚を回避するために開発された可能性もありますが、臨床的に重要な影響を与える小さなエラーが含まれる可能性があります。

彼らの研究の一例では、胸部X線検査レポートには「悪寒と非湿性咳嗽の徴候」が記載されていたが、LLMの要約では「発熱」が追加されていた。

「「発熱」も含みますが、 [one-word] この間違いは、医師がそうでなければ結論に達しなかったかもしれないときに、医師を肺炎の診断と抗生物質の投与に導く可能性のある病気のスクリプトを完成させるものである」と彼らは述べた。

しかし、これは一般に「LLMがユーザーの期待に応じて対応を調整し」、臨床医にとって仮想AIのイエスマンになるときに生じるディストピア的な危険である。

「まるで熱心な個人アシスタントのような態度です。」

より大きなトレンド

医療機器としての AI に関する FDA の規制枠組みがイノベーションを抑制している可能性があると言う人もいます。

12月にロンドンで開催された医療機器業界におけるAIの実用化についての議論の中で、ケンブリッジ・デザイン・パートナーシップのデジタル製品の事業開発リーダーであるティム・マードック氏は、FDAの規制がgenAIのイノベーションを遮断することになると批判した。

「FDAはAIを医療機器として許可している」と同氏は述べた。 話 によって 医療機器ネットワーク。

「彼らは依然としてアルゴリズムをロックダウンすることに重点を置いています。これは継続的な学習演習ではありません。」

1年前、 CDS連合はFDAに対し臨床意思決定支援ガイダンスの取り消しを求めた そして、規制の監視と医療分野のイノベーションの必要性のバランスをより良くすることができます。

連合は、最終指針の中で、FDAが公衆衛生への危害につながる状況下で法律を執行する能力を侵害したと示唆した。

記録上

「臨床データを要約した大規模な言語モデルは、EHR からの情報収集を合理化する強力な機会を約束する」と研究者らは報告書で認めている。 「しかし、言葉を扱うことで、既存のFDA規制の保護手段では明確にカバーされていない独特のリスクももたらします。」

「要約ツールが臨床現場に近づくにつれて、実用的な臨床研究と組み合わせた、LLM が生成する臨床要約の標準の透明性の高い開発が、これらのテクノロジーを安全かつ慎重に展開するために重要になります。」

Andrea Fox は、Healthcare IT News の上級編集者です。
Eメール： [email protected]
Healthcare IT News は HIMSS Media の出版物です。