ヘルスケアでのAIの使用には、時間、お金、命を救う可能性があります。しかし、時々嘘をつくことが知られている技術が患者のケアに導入されると、深刻なリスクも高まります。
ロンドンに本拠を置く1人の患者は最近、糖尿病の目のスクリーニングに彼を招待する手紙を受け取った後、それらのリスクがどれほど深刻であるかを経験しました。 年次検査 英国の糖尿病の人向け。問題：彼は糖尿病と診断されたことも、状態の兆候を示したこともありませんでした。
ある夜遅くに予約書を開いた後、20代半ばの健康な男性である患者は言った 運 彼は、手紙が単なる管理エラーでなければならないと結論付ける前に、彼が無意識のうちにこの状態と診断されたことを簡単に心配していました。翌日、事前にスケジュールされた定期的な血液検査で、看護師は診断に疑問を呈し、患者が糖尿病ではないことを確認したとき、ペアは彼の病歴をレビューしました。
「彼は私にシステムに関するメモを見せてくれました、そして、それらはAIに生成された要約でした。その時点で、私は奇妙なことが起こっていることに気づきました」と、私的な健康情報を議論するために匿名性を求めた患者は語った。 運。
患者は、医療記録を完全に要求してレビューした後、糖尿病の診断を導入したエントリーが「アニーAIによって生成された」要約としてリストされていることに気付きました。記録は、扁桃炎の重度の症例のために病院に出席したのとほぼ同じ時に登場しました。しかし、問題の記録は扁桃炎については言及していませんでした。代わりに、彼は「冠動脈疾患による狭心症の可能性が高い」に起因する胸の痛みと息切れを示したと言いました。実際には、彼にはこれらの症状はありませんでした。
レビューされたレコード 運、 また、患者は昨年末に2型糖尿病と診断され、現在一連の薬物療法を受けていることに注意してください。また、薬物の投与量と投与の詳細も含まれていました。ただし、患者やレビューされた他のいくつかの医療記録によると、これらの詳細は正確ではありませんでした 運。
「ヘルスシティ」の「保健病院」
見知らぬ人でさえ、この記録は、「ヘルスシティ」の「456 Care Road」にある架空の「保健病院」に処理しているように見える医療文書の住所に起因すると考えられていました。アドレスには、発明された郵便番号も含まれていました。
NHSの代表であるマシューノーブル博士、 言った 運 監視を担当するGPプラクティスは「監視されたAIの限られた使用」を採用しており、エラーは「ヒューマンエラーの1回限りのケース」でした。彼は、医療要約が当初、患者の記録の間違いを発見したが、気を散らしていて、「更新されたバージョンではなく、誤って元のバージョンを保存したと言いました。 [they] 取り組んでいた。」
しかし、架空のAI生成レコードは、誤った要約に基づいて糖尿病の目のスクリーニングの予約に出席する患者の招待状で、下流の結果をもたらしたようです。
ヘルスケアで使用されるほとんどのAIツールは厳格な人間の監視によって監視されていますが、別のNHS労働者は語った 運 元の症状からの飛躍、つまり還元炎 – 戻ったものへ – 冠動脈疾患による狭心症 – アラームベルが生成されました。
「これらのヒューマンエラーの間違いは、完全に不正確な要約を生成するAIシステムがある場合、かなり避けられません」とNHSの従業員は言いました。 「多くの高齢者または少ない識字症の患者は、問題があることさえ知らないかもしれません。」
テクノロジーの背後にある会社であるアニマヘルスは応答しませんでした フォーチュン 問題に関する質問。しかし、ノーブル博士は、「AnimaはNHSが承認したドキュメント管理システムであり、実践スタッフが着信ドキュメントの処理と必要なタスクのアクションを支援するのを支援しています。」
「AIによって処理される文書はありません。Animaは、安全性と効率を改善するためにコードと人間のレビュアーへの要約のみを提案します。すべての文書は、アクションと提出の前に人間によるレビューを必要とします」と彼は付け加えました。
AIの健康部門での不安な展開
この事件は、ヘルスケアにおけるAIの展開に関する成長の痛みをいくらか象徴しています。病院やGPの実践が競争して、ワークロードを緩和し、コストを削減することを約束する自動化ツールを採用するため、まだ充実したテクノロジーをハイステークス環境に統合するという課題にも取り組んでいます。
技術を革新し、潜在的に命を救うというプレッシャーは高いですが、特に「支援」と見なされていたツールが実際の患者ケアに影響を与え始めているため、厳格な監視の必要性も高くなります。
テクノロジーの背後にあるAnima Healthの背後にある会社は、医療の専門家が「自動化を通じて1日1日節約できる」と約束しています。同社は、「患者通信、臨床メモ、管理者の要求、および医師が毎日対処する書類」を自動的に生成するなどのサービスを提供しています。
AnimaのAIツールであるAnnieは、英国の医薬品およびヘルスケア製品規制機関（MHRA）にクラスIの医療機器として登録されています。これは、それが低リスクと見なされ、臨床医を支援するように設計されていることを意味します。 試験照明または包帯医学的決定を自動化するのではなく。
このカテゴリのAIツールでは、アクションが取られる前に臨床医が出力をレビューするか、アイテムが患者記録に入力される必要があります。しかし、誤診された患者のこの場合、この慣行は、患者の記録に追加される前に、事実上の誤りに適切に対処できないように見えました。
この事件は、AIテクノロジーの使用と分類に関する英国の健康サービス内での精査の増加の中で発生します。先月、ヘルスサービスのボスは、AIソフトウェアの現在の使用がデータ保護規則に違反し、患者を危険にさらす可能性があるとGPSおよび病院に警告しました。
最初に報告されたメールで Sky Newsによる そして、によって確認されました 運NHSイングランドは、最低基準に違反した承認されていないAIソフトウェアが患者を危害にさらすリスクがあると警告しました。この手紙は、一部の医師によるアンビエントボイステクノロジー、または「AVT」の使用について具体的に取り組んでいます。
AIの転写または要約の主な問題は、元のテキストの操作である、インペリアルカレッジロンドンの医療情報学および意思決定の教授であり、PT一般開業医であるブレンダンデラニーは語った。 運。
「単に受動的に録音するだけでなく、医療機器の目的を与えます」とデラニーは言いました。ただし、NHSが発行した最近のガイダンスは、一部の企業や慣行が規制上の追いつきを行っていることを意味しています。
「今では一般的に使用されていたデバイスのほとんどは、クラス1を持っています [categorization]デラニーは言った。「私は少なくとも1つを知っていますが、おそらく他の多くの人は今、クラス2Aを始めようとしようと急いでいます。
デバイスがクラス2A医療機器として定義されるべきかどうかは、本質的にその意図した目的と臨床リスクのレベルに依存します。英国の医療機器の規則では、ツールの出力がケアの決定を通知するために依存している場合、より厳格な規制管理の対象となるカテゴリであるクラス2A医療機器としての再分類が必要になる可能性があります。
アニマヘルスは、他の英国に拠点を置くヘルステクノロジー企業とともに 現在、クラス2A登録を追求しています。
健康プッシュのための英国のAI
英国政府は、ヘルスケアにおけるAIの可能性を受け入れており、国の緊張した国民健康システムを後押しできることを望んでいます。
最近 「10年の健康計画」 英国政府は、管理者の負担を軽減し、予防ケアをサポートし、技術を通じて患者を強化するために、NHSを世界で最もAI対応ケアシステムにすることを目的としていると述べた。
しかし、組織内の現在のルールを満たす方法でこの技術を展開することは複雑です。英国の保健大臣でさえ、今年初めに、一部の医師が患者ケアにAI技術を統合することに関して制限を押し進めている可能性があることを示唆しているように見えました。
「パブを真にパブを下って逸話的に聞いたことがあります。一部の臨床医はゲームに先んじており、すでにアンビエントAIを使用して、練習や信頼がまだ追いついていない場合でも、メモや物事のようなものを使用しています」
「今、それを奨励するのではなく、そこに多くの問題がありますが、「ああ、人々は変化したくない、スタッフは非常に幸せであり、彼らは本当に変化に抵抗している」と言っています。それは反対です。
AI Techは確かに、特に診断、医療記録管理、リソース不足またはリモートの設定で患者に到達するなどの分野で、速度、精度、およびケアへのアクセスを劇的に改善する大きな可能性を持っています。ただし、ハイテクの可能性とリスクの間の境界線を歩くことは、デリケートなデータに対処し、重大な害を引き起こす可能性のあるヘルスケアのようなセクターでは困難です。
彼の経験を振り返ると、患者は言った 運：「一般的に、NHSをサポートするためにAIツールを使用する必要があると思います。お金と時間を節約する大きな可能性があります。しかし、LLMはまだ実験的であるため、厳しい監視で使用する必要があります。これは、イノベーションを追求するための言い訳として使用する必要がありますが、注意と監視が必要な場合に使用する必要があります。」
1753020859
#英国のヘルスサービスAIツールは患者の誤った診断のセットを生成しました
2025-07-20 13:41:00