人工知能が現実を書き換え始めるとき – ヘルスケア ブログ

ブライアン・ジュンデフ

人工知能は急速に医療業務の中核となりつつあります。臨床メモの草案を作成し、患者の訪問を要約し、異常な検査室にフラグを立て、メッセージをトリアージし、画像をレビューし、事前の承認を支援し、意思決定のサポートをますますガイドします。 AI はもはや医学における単なる副実験ではありません。それは臨床現実の重要な解釈者になりつつあります。

このことは、医師、管理者、政策立案者にとって同様に重要な疑問を引き起こします。それは、AI は現実世界を正確に反映しているのかということです。それとも微妙に形を変えるのでしょうか？

データはシンプルです。米国国勢調査局の 2023 年 7 月によると 見積もり、アメリカ人の約75パーセントが白人（ヒスパニック系と非ヒスパニック系を含む）、約14パーセントが黒人またはアフリカ系アメリカ人、約6パーセントがアジア人、そしてそれより少ない割合がアメリカ先住民、太平洋諸島人、または多民族であると自認しています。人種を問わずヒスパニック系またはラテン系の人が人口の約 19 パーセントを占めます。

簡単に言えば、データは測定可能、検証可能であり、一般にアクセス可能です。

私は最近、画像の作成を超えた幅広い意味を持つ簡単な実験を実行しました。私は、AI 画像生成プラットフォームのトップ 2 社に、公式の国勢調査データに基づいて米国人口の人種構成を反映した集合写真を作成するよう依頼しました。

私が最初にテストしたシステムは Grok 3 でした。国勢調査データに基づいて人口統計的に正確な画像を生成するように依頼したところ、結果には黒人のみが表示されました。これは現実から完全に逸脱しています。

より多くのプロンプトを表示した後、後の画像ではより多様性が示されましたが、白人は人口に占める割合と比較して依然として一貫して過小評価されていました。

質問に対して、システムは、画像生成モデルが多様性を優先するか、結果における過去の過小表現に対処することを目的としている可能性があることを認めました。

言い換えれば、モデルは厳密にはデータをミラーリングしていませんでした。それは表現を修正していました。

比較のために、ChatGPT 5.0 で同じプロンプトを実行しました。出力は国勢調査の比率により厳密に一致しましたが、それでも調整が必要でした。最終的な画像は次のとおりです。質問に対して、システムは、非常に具体的な人口統計上の指示が与えられない限り、画像モデルは視覚的多様性を優先する可能性があると説明しました。

この小さな実験は、より大きな問題を浮き彫りにします。 AI システムが公式の人口統計データを反映するように明示的に指示されているにもかかわらず、調整されたバージョンの社会を生成してしまう場合、それは単なる技術的な欠陥ではありません。これは、設計の選択肢、つまりモデルが表現の目標と統計的精度の必要性のバランスをどのようにとるかに関する決定を示しています。

この緊張感は医療において特に重要です。

医療業界では現在、医療における人種の役割について活発な議論が行われています。 臨床アルゴリズム。近年、専門学会や学術センターは人種調整を再検討しています。 eGFR の計算、肺機能検査基準値、および産科リスクスコアリングツール。批評家は、生物学的代用として人種を使用することは不平等を助長する可能性があると主張している。根底にある疫学を考慮せずに変数を削除すると、予測精度が損なわれる可能性があると警告する人もいます。

これらの議論は複雑で微妙な違いがありますが、核となる原則は共通しています。それは、臨床ツールには、どのような変数が含まれるのか、なぜそれらが選択されるのか、そしてそれらが結果にどのような影響を与えるのかについて透明性がなければならないということです。

AI により、新たなレベルの不透明度が追加されます。

予測モデルが病院をサポートするようになりました 再入院 プログラム、 敗血症アラート、画像処理の優先順位付け、および国民の健康への支援。メモを要約し、管理計画を推奨するために、大規模な言語モデルが電子医療記録に組み込まれています。機械学習システムは、過去の実践パターン、人口統計分布、埋め込まれたバイアスを必然的に反映する大規模なデータセットでトレーニングされます。

懸念されるのは、AIが意図的にイデオロギー的な目標を追求することではない。 AI システムには意識がありません。少なくとも現時点では。ただし、それらは人間が作成したデータセットでトレーニングされ、人間が開発したアルゴリズムを通じてフィルタリングされ、人間が設定したガードレールによって導かれます。これらの上流設計の選択は、後の出力に影響します。ゴミが入って、ゴミが出る。

画像生成ツールが多様性を促進するために人口統計を「再バランス」するのであれば、たとえ意図的ではなかったとしても、臨床 AI ツールもまた、株式指標、制度的ベンチマーク、規制上のインセンティブ、または財務的制約などの他の目標を追求するために出力を調整する可能性があるのではないかと疑問に思うのは合理的です。

予測リスク モデリングを検討してください。観察されたリスクを正確に反映するのではなく、異種の影響統計を回避するためにアルゴリズムが出力しきい値を体系的に調整すると、臨床医は誤解を招く信号を受け取る可能性があります。適切な臨床検証を行わずに、リソース配分指標のバランスを取るためにトリアージ モデルが最適化された場合、患者は予期せぬ害に直面する可能性があります。

医学の正確さは表面的なものではありません。それは結果的なものです。

病気の有病率は、遺伝的、環境的、行動的、社会経済的要因により集団によって異なります。たとえば、 高血圧、 糖尿病、 緑内障、 鎌状赤血球症、そして確かな がん 人口統計グループ間で大きく異なります。これらの変動は疫学的事実であり、価値判断ではありません。表現の対称性を理由にこれらを無視したり平滑化すると、臨床の精度が低下する可能性があります。

これらはいずれも、医療格差への対処に反対するものではありません。それどころか、格差を特定するには正確かつ徹底的なデータが必要です。 AI ツールが透明性を持たずに公平性の名の下に区別を曖昧にすると、逆説的に、格差の特定と修正が困難になる可能性があります。

解決策は、医療への AI の統合に反対しないことです。その利点は非常に大きいです。眼科では、AI を活用した網膜画像解析により、高い感度と特異性が示されています。 検出する 糖尿病性網膜症。

で 放射線科、機械学習ツールを使用すると、他の方法では気づかれないかもしれない微妙な発見を強調表示できます。臨床文書のサポートは、事務作業負荷を軽減することで燃え尽き症候群を軽減するのに役立ちます。

その約束は本当です。しかし、責任も同様です。

AI ツールを採用する医療システムには、モデル開発、変数の重要性、出力調整のポリシーに関する透明性が必要です。開発者は、人口統計のバランスや表現の変化がトレーニングや推論のプロセスに統合されているかどうかを明らかにする必要があります。

規制当局は、アルゴリズムが推奨する内容だけでなく、その結論にどのように到達したかを臨床医が理解できるようにする説明可能性の基準に焦点を当てる必要がある。

医療において透明性は必須ではありません。それは臨床の正確さと信頼の構築に不可欠です。

患者は、推奨事項が証拠と臨床判断に基づいていると信じています。 AI が記録の要約、診断の提案、リスクの階層化によって臨床医と患者の間の仲介者として機能する場合、その出力は経験的現実に可能な限り忠実でなければなりません。そうしないと、医療が証拠に基づく診療からナラティブ主導の分析へと移行するリスクがあります。

人工知能には、ケアの提供を改善し、アクセスを増やし、診断の精度を高める驚くべき可能性があります。ただし、その信頼性は検証可能な事実との整合性によって決まります。アルゴリズムが、観察されたとおりの世界を提示するだけでなく、作成者がそれが示されるべきであると信じているとおりの世界を提示し始めると、信頼は低下します。

医学はそのような侵食を許すことはできません。

データドリブンなケアはデータの忠実性に依存します。現実が変わりやすくなれば、信頼も変わります。そして医療において、信頼は贅沢ではありません。それは他のすべてが依存する基盤です。

ブライアン C. ジュンデフ医師は、コロラド州を拠点とする眼科医であり、網膜の専門医です。彼は、人工知能、医療倫理、医師の診療の将来について頻繁に執筆しています。 ブライアン博士のサブスタック。