1716514891
2024-05-24 01:06:00
ジャーナルに掲載された最近の研究では 自然、 研究者らは、大規模な実世界データと新しいビジョントランスフォーマーアーキテクチャを使用して、デジタル病理学タスクで最先端のパフォーマンスを達成するため、全スライド病理学基礎モデルである Providence Gigapixel Pathology Model (Prov-GigaPath) を開発し、評価しました。
勉強： 実世界のデータからデジタル病理学のための全スライド基盤モデル画像クレジット: Color4260 / Shutterstock
背景
計算病理学は、サブタイプ、ステージング、予後予測アプリケーションを通じて、がんの診断に革命を起こすことができます。しかし、現在の方法では、膨大な注釈付きデータが必要であり、コストと時間がかかります。自己教師あり学習は、ラベルなしデータを使用してモデルを事前トレーニングすることで、この必要性を軽減できる可能性を示しています。課題としては、利用可能なデータの質が限られており変動しやすいこと、ローカルおよびグローバル パターンの取得が困難であること、事前トレーニング済みモデルへのアクセスが制限されていることなどが挙げられます。基礎モデルは、ラベルなしデータが豊富な生物医学分野に不可欠な強力な一般化を提供します。多様なデータセットと実際の設定にわたってこれらのモデルの一般化と臨床適用性を向上させるには、さらなる研究が必要です。
研究について
本研究の全スライド画像 (WSI) の前処理には、171,189 枚のヘマトキシリンおよびエオシン (H&E) 染色および免疫組織化学スライドのパイプラインが使用されました。組織セグメンテーションでは、Otsu 画像しきい値処理を使用して背景領域をフィルタリングしました。WSI はピクセルあたり 0.5 μm にサイズ変更され、256×256 ピクセルのタイルに切り取られ、組織カバー率が 10% 未満のタイルは破棄されました。Prov-GigaPath は、1,384,860,229 タイルで Vision Transformer (ViT) および Distillation of Knowledge in Networks version 2 (DINOv2) 設定を使用して事前トレーニングされました。スライド エンコーダーには Long Sequence Network (LongNet) アーキテクチャを使用しました。グリッドの離散化、拡張、マスクされたオートエンコーダーを含む事前トレーニングには、4×80 GB A100 GPU を備えた 16 ノードが使用され、2 日間で完了しました。
Prov-GigaPath は、階層的画像ピラミッド トランスフォーマー (HIPT)、対照学習ベースの病理モデル (CtransPath)、および診断画像のための自己教師あり機械学習の堅牢でデータ効率の高い一般化 (REMEDIS) と比較されました。がんゲノム アトラス (TCGA) スライドで事前トレーニングされた HIPT は、階層的画像ピラミッド トランスフォーマー アーキテクチャを使用し、CtransPath は畳み込みニューラル ネットワーク (>) と SwinTransformer モデルを組み合わせました。REMEDIS は、視覚表現の対照学習のシンプルなフレームワーク (SimCLR) アプローチで Resnet バックボーンを使用しました。Prov-GigaPath とこれらのモデルは、スライド レベルの埋め込みのための注意ベースの複数インスタンス学習 (ABMIL) 手法を使用して、さまざまな下流タスクで微調整されました。
変異予測については、Providence Pathology (Prov-Path) データを使用して、Pan-tumor Cancer (pan-cancer) バイオマーカーや遺伝子変異などのタスクを構築し、受信者動作特性曲線下面積 (AUROC) と適合率再現曲線下面積 (AUPRC) を使用して 10 倍のクロス検証で評価しました。がんのサブタイプの評価は 9 つのタイプをカバーし、モデルは 20 エポックにわたって微調整されました。
視覚と言語の整合には、オープンソースの Contrastive Language-Image Pre-training (OpenCLIP) コードベースで処理された 17,383 の病理 WSI レポート ペアの作成が含まれました。レポートは、Generative Pre-trained Transformer (GPT)-3.5 を使用してクリーンアップされ、テキスト埋め込みは OpenAI の text-embedding-ada-002 モデルを使用して計算されました。ゼロ ショット予測タスクでは、MI-Zero の設定とプロンプト テンプレートを使用して、サブタイピングと変異状態の予測に関する Multiple Instance Learning Zero-shot Transfer (MI-Zero)、Biomedical Contrastive Language-Image Pre-training (BiomedCLIP)、および Pathology-specific Language-Image Pre-training (PLIP) などのモデルを評価しました。
a、Prov-GigaPath のモデル アーキテクチャを示すフロー チャート。Prov-GigaPath は、最初に各入力 WSI を行優先の順序で 256 × 256 の画像タイルのシーケンスにシリアル化し、画像タイル レベルのエンコーダーを使用して各画像タイルを視覚的な埋め込みに変換します。次に、Prov-GigaPath は LongNet アーキテクチャに基づくスライド レベルのエンコーダーを適用して、さまざまな下流のアプリケーションの基礎として使用できるコンテキスト化された埋め込みを生成します。b、DINOv2 を使用した画像タイル レベルの事前トレーニング。c、マスクされたオートエンコーダーを使用した LongNet によるスライド レベルの事前トレーニング。 [CLS] 分類トークンです。
研究結果
この研究では、Prov-GigaPath が既存の方法と比較して、さまざまなデジタル病理学タスクで優れたパフォーマンスを発揮することが実証されました。Prov-GigaPath は、プロビデンス医療システムから得られた大規模なデータセットである Prov-Path で事前トレーニングされました。このデータセットには、約 30,000 人の患者の 171,189 枚の病理スライド全体から抽出した 1,384,860,229 枚の画像タイルが含まれています。このモデルは、ギガピクセル WSI の超大規模コンテキスト モデリングに LongNet メソッドを活用した GigaPath アーキテクチャを採用しています。
Prov-GigaPath は、変異予測と癌のサブタイピングタスクで大幅な改善を示しました。たとえば、TCGA データを使用した肺腺癌 (LUAD) 固有の 5 つの遺伝子変異予測タスクでは、Prov-GigaPath はより高い AUROC スコアと AUPRC スコアで競合モデルを上回りました。同様の結果が、全癌 18 バイオマーカー予測と全癌腫瘍変異負荷 (TMB) 予測タスクでも見られ、さまざまなデータセットにわたるモデルの堅牢性と一般化可能性を示しました。
変異予測に加えて、Prov-GigaPath は癌のサブタイプ分類タスクでも優れており、9 つの主要な癌のタイプのサブタイプ分類において最先端のモデルを上回りました。大幅なパフォーマンスの向上は、LongNet を使用してローカル タイル埋め込みとグローバル スライド レベルのコンテキスト情報を組み合わせることの有効性を強調しています。
Prov-GigaPath は、病理画像を関連するテキストレポートと整合させることで、視覚言語処理も調査しました。このモデルは、最先端の病理視覚言語モデル 3 つと比較して、非小細胞肺がん (NSCLC) および大腸腺がん (COADREAD) のサブタイピング タスクで最良のゼロ ショット分類結果を達成しました。これは、Twitter (X) などの他のデータ ソースよりも実際の臨床データを活用する LongNet によって可能になるスライド レベルの整合の利点を示しています。
結論
この研究では、Prov-GigaPath がデジタル病理学における臨床診断と意思決定支援を強化する可能性が強調されました。その拡張性と適応性により、このツールはより広範な生物医学アプリケーションにとって有望なツールとなり、高解像度画像からの効率的な自己教師学習を促進します。Prov-Path には、約 30,000 人の患者の 171,189 枚の病理スライドから得た 1,384,860,229 枚の画像タイルが含まれており、TCGA よりも大幅に大きくなっています。GigaPath は、ギガピクセル WSI の超大規模コンテキスト モデリングに LongNet5 を使用しています。Prov-GigaPath は、Providence と TCGA の両方のデータセットで、病理学、癌のサブタイプ分類、視覚言語処理タスクで最先端のパフォーマンスを発揮しました。このモデルの成功は、高解像度画像からの効率的な自己教師学習のために、より広範な生物医学領域に適用できることを示唆しています。
#新しいAIモデルが優れた癌診断でデジタル病理学のベンチマークを確立