1769229323
2026-01-24 04:00:00
研究者たちは、人工知能をより解釈しやすく、現実世界の健康介入に役立てる方法をますます模索しています。アリゾナ州立大学の Shovito Barua Soumma 氏、Asiful Arefeen 氏、Stephanie M. Carpenter 氏は、Melanie Hingle 氏 (アリゾナ大学) および Hassan Ghasemzadeh 氏とともに、大規模言語モデル (LLM) を使用して「反事実の説明」を生成する新しいアプローチを実証します。つまり、本質的には、予測モデルから異なる結果を達成するために必要な最小の変更を特定します。新しい論文で詳述されている彼らの研究では、臨床データセットを使用して、標準構成と微調整構成の両方で GPT-4、BioMistral-7B、LLaMA-3.1-8B などのモデルのパフォーマンスを評価し、微調整された LLM、特に LLaMA-3.1-8B が非常に妥当性があり、臨床的に関連性の高い介入を生み出すことができることを明らかにしています。重要なことに、これらの LLM によって生成された反事実は、解釈可能な洞察を提供するだけでなく、トレーニング データが限られている場合にモデルのパフォーマンスを大幅に向上させ、より堅牢で効果的なデジタル ヘルス テクノロジーに向けた柔軟でモデルに依存しない経路を提供します。
臨床データセットを使用した標準構成と微調整構成の両方の図 1-8B の結果は、事前トレーニング構成と微調整構成の両方で微調整された LLM、特に LLaMA-3.1-8B が明らかになり、機械学習モデルの予測を変更するために必要な最小限の実用的な変更を特定する能力を評価しました。微調整された LLM、特に LLaMA-3.1-8B は、現実的で行動的に変更可能な機能調整とともに、最大 99% の妥当性と 0.99 の妥当性を示す CF を一貫して生成しました。この研究では、人間中心の解釈可能性を提供するだけでなく、特にラベル付きデータが限られたシナリオにおいて、トレーニング データを拡張してモデルのパフォーマンスを向上させる新しい方法を明らかにします。この革新的な手法は、カテゴリ的な一貫性や臨床的に妥当な修正に苦戦することが多い従来の手法の限界に対処します。
具体的には、SenseCF フレームワークは LLM を微調整して、有効で代表的な反事実の説明を生成し、不均衡なデータセット内の少数クラスを補足することで、モデルのトレーニングを改善し、予測パフォーマンスを向上させます。添付の図に示されているように、トレーニング データが減少するにつれて分類器の F1 スコアは著しく低下し、標準モデルの脆弱性が強調され、LLM によって生成された反事実による合成拡張の必要性が動機付けられます。この研究は、重要な医療アプリケーションにおいて正確な予測と実用的な洞察の両方を提供できる AI システムに向けた重要な一歩を表しています。さらに、この研究では GPT-4 とオープンソース LLM を体系的に比較し、多様な臨床現場での厳密かつ定量的な比較を提供します。この研究は、大規模な臨床データセットや標準化された評価指標に関する包括的な評価の欠如など、現在の文献のギャップに対処することで、説明可能な AI とそのデジタルヘルスへの応用の分野に貴重な貢献を提供します。この調査結果は、LLM 主導の反事実が、より透明性があり、堅牢で効果的なヘルスケア ソリューションを作成する上で非常に有望であることを示唆しています。
臨床データ評価のための LLM 反事実は有望な結果をもたらす
この研究は、制御されたラベル希少性設定の下で、LLM で生成された CF を合成トレーニング サンプルとして導入する、データ拡張手法の先駆けとなりました。具体的には、ラベル付きデータが限られている現実的な臨床シナリオをシミュレートするために、チームはトレーニング データを 10%、20%、30%、40%、50%、60%、70% 削減しました。次に、CFE で強化された元のデータを使用して分類器を再トレーニングし、F1 スコアのパフォーマンスの回復を測定しました。この研究結果は、希少性をラベル付けし、LLM によって生成された反事実を介して原理に基づいた合成拡張の必要性を動機付ける標準モデルの脆弱性を浮き彫りにしています。
LLM は有効かつもっともらしい臨床反事実を生成します
微調整された LLM、特に LLaMA-3.1-8B は、現実的で動作を変更可能な機能調整とともに、最大 99% に達する高い妥当性と、ピークで 0.99 に達する強力な妥当性を示す CF を生成しました。具体的には、シナリオ A では、ポジティブクラスのアンダーサンプリングで微調整された LLaMA* は、削減されたデータセットと比較して、精度で 21.00%、精度で 20.00%、再現率で 24.56%、F1 スコアで 22.41%、AUC で 25.37% という顕著な増加を達成しました。これらの向上は、不均衡なデータによって引き起こされるパフォーマンスの低下を軽減する CFE の力を示しています。チームは、式 ∑X∗ T ∈CF ∑di=1 1(x∗i T = xi T) ∥CF∥ を使用してスパース性を測定し、生成された CF をユーザーがよりよく理解できるようにしました。
結果は、微調整された BioMistral-7B と LLaMA-3.1-8B が、事前トレーニングされた対応物と比較して有効性、スパース性、距離が大幅に向上し、有効性が 20 ～ 40% ポイント向上し、特徴距離が 50% を超えて減少したことを示しています。反事実的な介入例では、LLM が高ストレス患者に対して臨床的に意味のある修正をどのように提案できるかを示し、深い睡眠の浅さ (30.1%)、中程度のレム睡眠 (15.4%)、血糖値の上昇 (210.8mg/dL)、および活動性の低さ (5.95 段階) をストレスの主な要因として特定しました。 LLM は、臨床的に実行可能な戦略を反映して、血糖値を 180mg/dL まで下げるとともに、深い睡眠を 35%、レム睡眠を 20% に増やすことを提案しました。表 III は、LLaMA* が臨床的に現実的な最小限の修正でほぼ完璧な妥当性を達成した一方、従来の方法では非現実的な特徴シフトが提案されることが多かったことが示されています。レーダー プロットで視覚化された特徴多様性分析により、微調整された LLM が、非常に実用的な変数、平均歩数、血糖値、高血糖の頻度など、ライフスタイルや治療の調整を通じて容易に修正できる要素に集中していることが浮き彫りになりました。
LLM は反事実を通じてデータの堅牢性を高め、一般化を改善します
この研究は、LLM によって生成された反事実が意味論的な一貫性と臨床的妥当性を示し、データ増強に適用すると下流の堅牢性を強化できることを証明し、深刻なラベル不足の条件下で平均 20% の F1 スコアを回復できることを証明しました。具体的には、微調整された LLaMA モデルと BioMistral モデルは、事前トレーニングされたモデルを上回るコンパクトで実用的な CF を生成し、既存の最適化手法と競合することが証明されました。著者らの知る限り、これはゼロショット設定と少数ショット設定の両方でセンサー駆動データに適用されたLLMベースのCFの体系的な調査を初めて表しており、生成AIを信頼できる介入中心のヘルスケア機械学習パイプラインに統合するための有望な道を開くものである。著者らは、非現実的な特徴変更の可能性などの限界を認めており、将来の研究では微調整プロセスに臨床知識グラフや因果構造を組み込む可能性があることを示唆している。さらなる研究の方向性には、生のセンサートレースや臨床記録などのマルチモーダルデータへのアプローチの拡張や、早期介入と患者の転帰に対するCFベースのガイダンスの長期的な影響の評価が含まれます。
👉 詳細情報
🗞 健康介入設計とセンサーデータ拡張のための微調整された LLM による反事実モデリング
🧠ArXiv:
#微調整された #LLM #は健康介入に関して #のもっともらしい反事実を達成します