AI ガバナンスをシステムに組み込む必要がある

City of Hope は、数千ページに及ぶ患者の医療記録を数秒で実用的な臨床概要に変換する独自の生成 AI プラットフォームを構築しました。これにより、医師が時間外にカルテを確認する時間を節約し、がん患者と臨床試験をマッチングするプロセスが加速されます。 HopeLLM と呼ばれるこのプラットフォームは、シティ オブ ホープのシステム執行副社長兼最高デジタル技術責任者であるサイモン ナザリアン氏が、南カリフォルニア、アリゾナ、イリノイ、ジョージアにある組織の全国がんセンター ネットワーク全体で推進している、より広範な AI 戦略の中心に位置しています。

1913 年に設立されたシティ オブ ホープは、国内最大のがん研究および治療機関の 1 つです。 NCI 指定の総合がんセンターは同研究所最高の「例外的」評価を受けており、その拠点は 8,600 万人以上のアメリカ人にアクセスを提供しています。ナザリアン氏は、オプタム ヘルス社で最高情報責任者として 4 年間務めた後、2024 年 9 月に入社しました。彼の履歴書には、マッキンゼー アンド カンパニー、カイザー パーマネンテ、ソニー ピクチャーズ エンタテインメントでの指導的役割が含まれています。この業界を超えた経験が、ヘルスケアにおける患者向けテクノロジーは、エンターテイメントや小売によって設定されたのと同じ消費者の期待に応える必要があるという彼の信念を形作りました。

ポッドキャスト: 新しいウィンドウで再生する | ダウンロード (長さ: 43:08 — 39.5MB)

購読する： アップルのポッドキャスト | スポティファイ

腫瘍学用の AI エンジン

HopeLLM は、1 世紀以上にわたるがん治療と転帰に及ぶ City of Hope の独自データを活用した、複数の商用およびオープンソース AI モデルを活用しています。このプラットフォームは、各腫瘍患者に伴う膨大な量の文書に対処します。主要な紹介センターとして、シティ オブ ホープは、来院する患者ごとに 2,000 ～ 3,000 ページの記録を受け取ります。医師はこれまで、夜間や週末に何時間もかけてこれらの記録を確認し、翌日の診察に備えていました。 HopeLLM はその情報を、診療現場で利用できる簡潔で構造化された概要に統合し、患者 1 人あたりの準備時間を 2 ～ 3 時間削減します。

このプラットフォームは、臨床試験のマッチングも双方向で自動化します。患者が到着すると、HopeLLM はゲノムデータ、健康の社会的決定要因、および病歴に基づいて適格な試験を特定します。新しい治験が開始されると、システムは既存の患者集団をスキャンして候補者を見つけます。ナザリアン氏は、AIを活用したバイオマーカーと患者マッチングツールにより臨床試験の登録が最大26%向上する可能性があるという業界の予測を指摘した。 「患者が私たちを訪ねてきたとき、私たちはどの臨床試験がその患者にどの程度適合するかを判断することができます」と彼は言いました。 「臨床試験を立ち上げたい場合には、患者をその試験にマッチングさせることもできます。」

自然言語処理機能により、医師や研究者は医療現場で直接 HopeLLM と対話し、システムに特定の臨床データや研究データを問い合わせることができます。受信する患者データの多くは、紹介プロバイダーからさまざまな形式のメモ、画像、記録など、非構造化形式で届きます。 HopeLLM は、その非構造化データを処理し、アルゴリズムで使用できるように構造化し、組織の既存の構造化データと結合します。このプラットフォームでは、FHIR や HL7 などの標準ベースの情報転送プロトコルが使用されていますが、患者と紹介プロバイダーにとってプロセスをできるだけ簡単にすることに引き続き重点が置かれています。

徹底的に構築されたガバナンス

Nazarian 氏は AI ガバナンスに熱心で、導入後に AI システムにそれを重ねることができるという考えを否定しています。最初からアーキテクチャに組み込むように設計する必要があります。これは、外部の監視から、ガバナンスのロジックがモデル自体の内部に存在する組み込みの説明責任への移行を意味します。それは、AI を意思決定の参加者として扱うことを意味します。AI が間違っているときに誰が責任を負うのかを誰も説明できなければ、信頼は急速に崩れてしまいます。そしてそれは、静的なポリシーから、AI システムが動作を監視し、ドリフトにフラグを立て、安全でないリクエストにリアルタイムで異議を申し立てる、同氏の呼ぶ「会話型ガバナンス」への移行を意味します。

「責任ある AI ガバナンスとは、イノベーションを遅らせることではありません」とナザリアン氏は言います。 「重要なのは、イノベーションが臨床上の責任を決して超えないようにすることです。」同氏は、AIの透明性は純粋に哲学的なものではあり得ないと強調した。モデルカードを公開して、誰かがそれを読んでくれることを期待しても、何も達成されません。結果が完璧に達していない場合でも、意思決定の瞬間に説明できることが信頼を築きます。医療の文脈では、この原則は特に重要です。どのアルゴリズムにも道徳的権威は与えられません。臨床境界、トレーサビリティ、バイアスのモニタリングは、患者の同意が設計に組み込まれたライブプロセスとして機能する必要があります。

モデルのドリフトは主要な懸念事項です。 AI システムは新しいデータやインタラクションから学習するため、その動作はトレーニングに基づいた統計的特性や特徴の関係から逸脱する可能性があります。ナザリアン氏は、これを継続的な監視が必要な自然現象であると説明しました。 City of Hope のように、複数の州にまたがって活動する組織は、さまざまな規制環境によるさらなる複雑さに直面しています。各管轄区域では AI 規制の扱いが異なるため、ガバナンスの枠組みは一貫した臨床基準を維持しながら、そのパッチワークに対応する必要があります。同氏は、倫理的失敗のほとんどは意図しない規模に起因すると指摘した。彼の見解では、AI ガバナンスはコンプライアンスよりも安全工学に似ています。

ビジネスエグゼクティブとしてのテクノロジーリーダー

技術責任者は 1 ～ 2 か月ごとに医師とともに臨床回診に出かけ、患者の経験や医療提供の日々の現実に常に近づきます。ナザリアン氏は、テクノロジー担当役員の役割は本質的にビジネス上の役割であり、業務、臨床ワークフロー、組織の使命における深い流暢さが必要とされる役割であると考えています。 AI の導入を成功させるには、経営陣全体のパートナーシップが必要です。これは、組織が解決しようとしている問題を理解し、影響を測定し、主要なテクノロジーへの取り組みに伴う変革を管理することを意味します。 「解決しようとしている問題がわかっていれば、半分まで到達したことになります」とナザリアン氏は言います。 「そして今、それを解決するために組織として協力し始めています。」

自動化から予測分析、生成 AI およびエージェント AI への進化は、テクノロジー組織の機能の根本的な変化を表しています。学習し、問題にフラグを立て、自己監視する AI システムには、新しい種類のケアと栄養が必要です。ナザリアン氏は、IT 部門の責任の拡大を人事部門に例えました。 Agentic AI システムは組織のために作業を実行し、他の貢献者と同様の監視、説明責任、パフォーマンス管理を必要とします。テクノロジーの展開は 1 つのピースにすぎません。さらに困難な作業は、経営陣として、業務、ビジネス戦略、テクノロジー全体にわたる変革を管理することです。ナザリアンは最高デジタルおよびテクノロジー責任者として、戦略やインフラストラクチャーからデジタル機能、そしてシティ・オブ・ホープの使命を可能にするテクノロジーに対する完全な説明責任に至るまで、その任務の全範囲を担っています。

テイク・イット・アウェイ

• 実際の臨床ワークフローに統合する能力に基づいて AI プラットフォームを構築または評価します
• 最初から AI アーキテクチャにガバナンスを設計します。システム内でエンコードされたポリシーは、展開後の解釈に委ねられたポリシーよりも優れたパフォーマンスを発揮します。
• AI 成功の前提条件として非構造化データの構造化に投資する (特に、大量のドキュメントが送られてくる紹介が多い組織では)
• モデルのドリフトを継続的な監視が必要な継続的な運用上の問題として扱う
• テクノロジーリーダーは、定期的なラウンドとワークフローの没入を通じて、臨床業務を直接理解することに時間を投資する必要があります。
• AI ガバナンスを成果と安全工学原則に定着させる。ほとんどの倫理的失敗は、悪意ではなく、意図しない規模から発生します

彼の考えでは、その役割は、適切な人材を適切な優先順位で配置して、定位置でプレーするチームのクォーターバックを務めることになるという。 「組織内のテクノロジーリーダーとして、あなたはビジョン、戦略を作成し、ビートを設定し、チームが確実に連携できるようにするために選手たちを実際にクォーターバックさせる責任があります。」