AI の自律性の程度をワークフローのリスク プロファイルに適合させる

AI が熱狂する時代のさなか、メイヨー クリニック プラットフォームの社長であるジョン ハラムカ医師は、AI の出現の明らかな「突然」が長い道のりを覆い隠していると指摘しています。同氏は、「これは50年かけて実現した一夜にしての革命だ」と述べ、今日の躍進は、コンピューティング、ストレージ、ツールにおける数十年にわたる進歩と、2022年後半の消費者向けチャットボットのデビューに続く急激な文化的変化の上に成り立っていると指摘した。

このインタビューは、最近出版された記事の一部として行われました。 AI特別レポート

50年にわたる「一夜にして」変化

ハラムカ氏によれば、テクノロジー、政策、文化という 3 つの力が現在の瞬間を可能にしたとのことです。テクノロジーの面では、安価なテラフロップスとほぼ無制限のストレージにより、かつては異例だった実験が日常的なエンジニアリングに変わりました。政策に関しては、業界連合などのマルチステークホルダーの取り組みが、AI をどこで使用すべきか、どのように検証すべきか、どのようなガードレールが必要かについての指針を提供しています。文化に関して同氏は、2022年後半以降、取締役会や臨床リーダーシップ全体でAIに関する議論が主流化し、それが新たな投資と緊急性をもたらしたと指摘した。実際の結果は、チームが急いでいるからではなく、基盤の多くが数十年かけて構築されたものであるため、製品が迅速に展開されるということだと同氏は語った。

ポッドキャスト: 新しいウィンドウで再生する | ダウンロード (長さ: 26:51 — 18.5MB)

購読する： アップルのポッドキャスト | スポティファイ

経営幹部は誇大広告ではなく成果を求めている

同氏は、病院の経営幹部からの要望は「AIを提供してください」ではなく、「ビジネス上の問題の解決に協力してください」と述べた。利益率の薄さ、人員配置の問題、臨床医の燃え尽き症候群が議題の大半を占めています。テクノロジーは、それらのプレッシャーを軽減する能力によって判断されます。 「そのうちの 1 人が AI が必要だと言いましたか? いいえ。」その代わりに、リーダーたちは文書の正確性と償還を改善し、臨床医がライセンスの最高水準で働けるように管理上の負担を軽減し、モデル駆動型の強化を通じて希少な専門知識を拡張する方法を模索しています。彼は、アンビエントリスニングが多くの市場で重要な要素になっていると指摘しました。信頼できるプログラムのないシステムは、すでに時間外チャートの作成を減らし、メモの品質を向上させている同業他社に後れを取るリスクがあります。同氏は、統一テーマは、新しいツールに議題を左右させるのではなく、医療システムの宣言された戦略目標にAIの取り組みをマッピングすることだと付け加えた。

ガバナンス、検証、リスク

ハラムカ氏の見解では、AI のガバナンスは、異質な集団に導入された統計システムの現実に合わせて構築される必要があります。 FDA の認可（医療機器としてのソフトウェアに対する）は重要ですが、それだけでは不十分です。組織の患者に対する安全性、公平性、適切性、有効性などの現地検証が不可欠です。 「地元住民に対して何らかの認証や資格が必要です」と彼は言う。臨床導入には変更管理も必要です。医師が新規性だけで説得されることはほとんどありません。同氏は、新しいツールが時間を節約し、品質を向上させ、患者の満足度を高めることを証明することを強調しました。

リスクの議論は、サイバーセキュリティを超えて、モデル駆動型の意思決定の運用上および臨床上の影響にまで及びます。同氏は、リーダーに対し、業界コンソーシアムや信頼できるフォーラムなどの実践コミュニティで活動し、評価方法、バイアス評価、導入後の監視アプローチを共有することを推奨しています。テクノロジー パターンの面では、予測システム (大規模なコホートにわたるパターン マッチング) を、生成システム (精度が異なる言語ベースの出力) およびエージェント オーケストレーション (システムがアクションを実行できる) から区別しました。同氏は、自律性をリスクに合わせて調整することをアドバイスしました。リスクの低いワークフローについては自動化を許可し、リスクの高いタスクについては人間の介入を必要とし、デバイス投与などの設定では完全な自律制御を避けてください。

柔軟性を考慮した設計 – パイロットを超えた拡張性

同氏は、ベンダーや技術の進化に合わせてコンポーネントを交換できるように、モジュール化を考慮して設計するよう組織にアドバイスしています。つまり、ロックインを回避し、ベンダー中立の API レイヤーを優先し、変化に対応できる移植性の高いクラウド戦略を維持することを意味します。同氏によると、エンジニアリングの核となる原則は、ワークフローを交換可能な段階として定義することであり、これにより、企業の配線を再配線することなく、パフォーマンスの低いモデルやツールを削除できるようになります。

実行にあたり、同氏は、成功した数十の実験が実稼働向けに設計されていないために停止する「パイロット炎」に対して警告した。同氏は、段階的に進めることを推奨しています。つまり、1 つの部門から始めて次の部門に拡大し、計画的に規模を拡大します (常に一時停止するオプションも用意しています)。そうすることで、組織が最初からイニシアチブが実現することを意図していることを理解できるようになります。最初の患者またはユーザーがツールにさらされる前に、拡張または廃止の明確な基準を定義する必要があります。

臨床的影響はすでに現れている

ハラムカ氏によれば、測定可能な臨床的影響は理論上のものでも遠いものでもありません。同氏は、内視鏡検査や放射線学など、画像を多用するワークフローについて説明しました。このワークフローでは、AI システムがすでに人間のレビューを強化して、目には見えない微妙な所見を検出しています。腫瘍学では、モデル駆動型の最適化により周囲の構造を保護しながら腫瘍を標的とするビームを形成するのに役立つ放射線治療計画を指摘し、人間の物理学者の仕事を補完しました。彼はこれらを臨床判断に代わるものではなく、人間が拡張したワークフローとして組み立てました。

並行して、収益サイクル スループット、文書生成、サプライ チェーン予測などの管理ユース ケースは、害悪プロファイルが低く、そのメリットが財務的持続可能性に直接つながるため、早期導入が引き続き注目されています。臨床意思決定のサポートやデバイスレベルの自律性など、リスクの高い分野は、組織が経験と自信を得るにつれて成熟が遅くなります。

テイク・イット・アウェイ

• すべての AI 提案を指定された戦略目標 (マージン、アクセス、品質、エクスペリエンス) に結び付ける
• ユースケースの取り込み、ローカル検証、バイアステスト、モニタリング、廃止を担当する AI ガバナンス評議会を設立する
• よりリスクの低い管理上の成功から始めながら、よりリスクの高いアプリケーションに向けた臨床評価の筋力を構築します
• スワップ機能を考慮した設計: ロックインを回避するために、抽象化レイヤー、オープン インターフェイス、クラウドの移植性を重視します。
• 「パイロット」を、明示的な規模基準とオフランプを含む段階的な展開計画に置き換えます。
• 適切な規模の自律性: 低リスクのステップを自動化し、中リスクの場合は人間の関与を必要とし、危害が発生する可能性がある場合はバーの自律性を確保します。
• 時間を節約し、質の高い指標を使用して臨床医に価値を証明します
• 信頼できる業界連合に参加して、リスク、安全性、公平性の評価方法を共有します
• エージェントのオーケストレーションを注意深く追跡します。リスクが臨床的な場合には、行動よりも推奨を優先する
• 総所有コストの一部として、稼働後のモニタリングとモデルの更新にかかる予算

ハラムカ氏は、AI にはいくつかの「ブラック ボックス」ダイナミクスがあるものの、そのほとんどは論理的で理解できるものであると付け加えました。それは指導者たちに慰めを与えるはずだ。 「これは数学であり、魔法ではありません。」