NLP フレームワークは医療要約ツールを改善できる可能性がある

2024 年 2 月 27 日 – ペンシルバニア州立大学 (PSU) の研究者は、 発展した 人工知能 (AI) 駆動の医療テキスト要約ツールの効率と信頼性を向上させる自然言語処理 (NLP) フレームワーク。

の 医療要約プロセス は、患者情報をアクセス可能な概要に凝縮して、電子医療記録、保険請求、および診療現場で使用できるようにする上で重要です。 AIを使用してこれらの概要を生成することもできるが、そうすることで前記概要の信頼性に関する懸念が生じる可能性があると研究チームは強調した。

「医療要約に使用されている現在の NLP ツールと機械学習アルゴリズムには忠実性に問題があります」とこの論文の筆頭著者は説明しました。 勉強 PSU 情報科学大学 (IST) の大学院生、Nan Zhang 氏がニュースリリースで述べた。 「医師と患者のやり取りの記録の信頼性を確保するには、医療要約モデルは、文書化されている報告書や会話と 100% の一貫性を保つ必要があります。」

現在の医療要約モデルは、ツールが患者に危害をもたらす可能性のある「不誠実な」要約を作成することを防ぐために人間の監視を利用しているが、研究者らは、これらのモデルにおける不誠実の原因を研究することが効率と安全性を確保するために重要であると指摘した。

モデルの不誠実を調査するために、研究者らは、放射線医学レポートの要約、医療対話の要約、およびオンライン健康質問の要約の分野で既存のツールによって生成された 3 つのデータセットを分析しました。

続きを読む： データ拡張により、臨床ノートにおける LLM の一般化が改善される可能性がある

各データセットから 100 ～ 200 の要約がランダムに選択され、その要約の元となった元の医療レポートと手動で比較されました。 その後、要約は原文への忠実さに基づいて分類され、忠実でない要約はエラー カテゴリに分類されました。

「テキストを生成するモデルでは、さまざまな種類のエラーが発生する可能性があります」と Zhang 氏は指摘します。 「モデルは医学用語を見逃したり、別の用語に変更したりする可能性があります。 真実ではない要約や情報源と一致しない要約は、患者に害を及ぼす可能性があります。」

この分析により、要約のかなりの部分に何らかの誤りが含まれていることが明らかになりました。 これらの要約の一部は元の医療報告書と矛盾していることが判明し、いくつかは「幻覚」の兆候を示しており、要約にはその作成に使用された医療報告書では裏付けられていない追加情報が含まれていたという現象です。

これらの問題に対処するために、研究チームは Faithfulness for Medical Summarization (FaMeSumm) フレームワークを開発しました。

このフレームワークは、既存の医療テキスト要約ツールの改善に役立つ、一連の対照的な要約 (「忠実」でエラーがない医療要約、または「不忠実」でエラーを含む医療要約) と注釈付きの医学用語を使用して設計されました。

続きを読む： 研究者が臨床ノートから SDOH を抽出する NLP ツールを検証

研究者らはこのフレームワークを使用して、医療報告書に含まれる単語を単に模倣するのではなく、エラーに対処できるように事前トレーニングされた言語モデルを微調整しました。

「医学要約モデルは、医学用語にもっと注意を払うように訓練されています」と Zhang 氏は指摘しました。 「しかし、これらの医学用語は意図したとおりに正確に要約することが重要です。つまり、いいえ、ない、またはなしなどの非医学的な単語を含めることを意味します。 モデルがこれらの単語の近くまたはその周辺を変更することは望ましくありません。変更すると、誤差が大きくなる可能性があります。」

この分析では、FaMeSumm が、臨床医のメモや患者からの複雑な質問を含むさまざまなトレーニング データセットから得た情報を効果的に要約するのに役立つことがさらに実証されました。

「私たちの手法は、医学用語を含むさまざまな種類のデータセットや、テストした主流の事前トレーニング済み言語モデルに対して機能します」と Zhang 氏は述べています。 「忠実度が一貫して向上しており、それは私たちの仕事を検査した医師によっても確認されました。」

この研究では、医療における微調整された大規模言語モデル (LLM) の可能性も強調されました。

続きを読む： AI は整形外科の文書改善に期待を寄せる

「私たちは微調整したモデルの 1 つを GPT-3 と比較しました…私たちのモデルは忠実性の点で大幅に優れたパフォーマンスに達し、LLM での使用が有望である私たちの手法の強力な能力を示したことがわかりました」と Zhang 氏は述べています。 。

「おそらく、近い将来、AI は医療概要をテンプレートとして生成するよう訓練されるでしょう」と彼は続けました。 「医師は出力を再確認して軽微な編集を加えるだけで、概要の作成にかかる時間を大幅に短縮できる可能性があります。」

この研究は、医療における生成 AI と LLM の可能性を評価しようとする多くの研究のうちの 1 つです。

先週、ニューヨーク州マウントサイナイ眼科耳鼻科（NYEE）の研究チームが、 説明された OpenAI の Generative Pre-Training – Model 4 (GPT-4) が、緑内障と網膜の管理において眼科医と同等またはそれを上回るパフォーマンスをどのように発揮できるのか。

眼科というのは、 利用率の高い専門分野これは、AI を活用した臨床意思決定支援ツールが患者ケアの向上に役立つユニークな機会を提供します。 緑内障や網膜の病気では複雑な患者が大量に発生することが多いため、医療提供者にとって合理化された症例管理が最優先事項となっています。

研究者らは、GPT-4 が両方のタイプの症例の処理に熟達しており、多くの場合、眼科医が提供する症例管理の提案の精度と完全性と同等またはそれを上回っていることを発見しました。