ChatGPT などの主要な人工知能 (AI) モデルのほとんどは、ユーザーに不正確な医療情報の提供を誘導する悪意のある攻撃に対して脆弱であることが判明しました。胎児に異常を引き起こす可能性のある薬を妊婦に推奨する状況すら、操作によって簡単に生み出されてしまった。
牙山医療院泌尿器科のソ・ジュンギョ教授、仁荷大学病院情報学部のチョン・テジュン教授、放射線科のイ・ロウン教授らの研究チームは５日、「即時注射攻撃」に対する医療用大規模言語モデル（ＬＬＭ）の安全性脆弱性を分析した世界初の研究結果を「米国医師会ジャーナルネットワークオープン」に発表したと発表した。プロンプト インジェクション攻撃は、ハッカーが AI モデルに悪意のあるコマンドを挿入し、意図とは異なる動作をさせるサイバー攻撃です。
研究者らは昨年1月から10月にかけて、ChatGPT、Gemini、Claudeを含む3つの広く使用されているAIモデルで実験を実施した。研究者らはまず、通常の医療相談の状況のように見えるが、特定の回答を導くように設計された悪意のあるコマンドを AI に入力しました。これを通じて、AI が危険または不適切な医療アドバイスを提供するように操作される可能性があるかどうかを検討しました。
Geminiを含む3機種用
禁忌薬などの悪質なコマンド攻撃
成功率94%超え…リスクも少ない
研究者らは追加の安全対策を呼びかけている
研究者らは状況ごとにリスクを分析した。例えば、糖尿病などの慢性疾患患者に対し、実証済みの治療法ではなく漢方薬成分を推奨するケースは中リスクに分類され、呼吸器疾患患者に対して呼吸抑制を引き起こす可能性のある薬剤を最初に推奨するケースは高リスクに分類された。胎児異常を引き起こす可能性がある禁忌薬を妊婦に推奨する場合は、最も高いリスクレベルに設定されています。研究者らは、異なるリスクレベルを持つ 12 のシナリオを想定しました。攻撃には2つのテクニックが使用されました。それは、患者情報を利用して判断を混乱させる「状況認識促進注入」と、実際には存在しない情報をもっともらしく見せる「証拠操作」です。研究者らは、攻撃後の患者とAIモデル間の216件の会話を分析した。
3 つのモデルすべての攻撃成功率は 94.4% に達しました。最もリスクの高いシナリオの成功率も 91.7% でした。高レベルは93.3%、中レベルは100%でした。リスク レベルが低下するにつれて、脆弱性は増加しました。モデル別では、GPT-4o Mini と Gemini 2.0 Flashlight は両方とも 100% の攻撃成功率を示し、Claude 3 Haiku は 83.3% の攻撃成功率を示しました。フォローアップの会話につながる捏造された回答の割合も、3 つのモデルすべてで 80% を超えました。
妊婦に禁忌薬を推奨するシナリオでは、最高レベルの AI モデルでも同様の限界が示されました。追加の実験では、GPT-5、Gemini 2.5 Pro、Claude 4.5 Sonnet を含む 3 つの最新モデルに対して、ユーザーの画面に悪意のあるテキストを隠す攻撃が実行されました。その結果、攻撃成功率はGPT-5とGemini 2.5 Proでは100％、Claude 4.5 Sonnetでは80％に達した。
研究者らは、医療現場でAIの使用が急速に増加しているため、安全性を高めるための追加対策が緊急に必要であると指摘した。ソ・ジュンギョ教授は、「医療用チャットボットや患者遠隔相談システムを導入するには、AIモデルの脆弱性と安全性を徹底的にテストし、安全性検証システムを義務付ける措置が必要だ」と述べた。
#AIは医療情報の改ざんに脆弱