Segment Anything Model を中心とした大規模開発 その 4 (機械学習の近未来) | Monodeep Mukherjee 著 | 2024年4月

1. WSI-SAM: 病理組織全体スライド画像用の多重解像度セグメント エニシング モデル (SAM) (arXiv)

著者 ： ホン・リウ、 ヤン・ハオセン、 ポール・J・ヴァン・ディースト、 ジョシアン PW プリュイム、 ミトコ・ベタ

要約: セグメント エニシング モデル (SAM) は、セグメンテーション モデルの大幅な進歩を示し、堅牢なゼロショット機能と動的なプロンプトを提供します。 しかし、既存の医療用 SAM は、全スライド画像 (WSI) のマルチスケールの性質には適しておらず、その有効性が制限されています。 この欠点を解決するために、効率的でプロンプト主導の設計とゼロショット機能を維持しながら、多重解像度パッチを使用して病理組織画像の正確なオブジェクト セグメンテーション機能で SAM を強化した WSI-SAM を紹介します。 トレーニングのオーバーヘッドを最小限に抑えながら、事前トレーニングされた知識を最大限に活用するために、SAM を凍結したままにし、最小限の追加パラメーターと計算オーバーヘッドのみを導入します。 特に、高解像度 (HR) トークン、低解像度 (LR) トークン、デュアル マスク デコーダーを導入します。 このデコーダは、オリジナルの SAM マスク デコーダを、複数のスケールで機能を統合する軽量の融合モジュールと統合します。 マスクを個別に予測するのではなく、中間層で HR トークンと LR トークンを統合し、複数の解像度にわたって同じオブジェクトの特徴を共同で学習します。 実験では、当社の WSI-SAM が最先端の SAM およびそのバリアントよりも優れたパフォーマンスを発揮することが示されています。 特に、我々のモデルは、上皮内乳管癌 (DCIS) セグメンテーション タスクおよび乳癌転移セグメンテーション タスク (CAMELYON16 データセット) において、SAM よりも 4.1 および 2.5 パーセント ポイント優れています。 コードは次の場所で入手できます。 https://github.com/HongLiuuuuu/WSI-SAM。

2. 腫瘍病変セマンティックセグメンテーション用のマスク拡張セグメント何でもモデル(arXiv)

著者 ： ハイロン・シー、 ソンハオ・ハン、 黄 シャオフェイ、 ユエ・リャオ、 リー・グアンビン、 シャンシン・コン、 華珠、 王暁夢、 シ・リウ

要約 : : CT または MRI 画像上の腫瘍病変のセグメンテーションは、がんの診断と治療計画において重要な役割を果たします。 さまざまな医用画像モダリティおよび機器にわたる腫瘍病変セグメンテーション データの固有の違いを考慮すると、医療知識をセグメント エニシング モデル (SAM) に統合すると、その汎用性と汎用化の可能性により有望な機能が得られます。 最近の研究では、大規模な医療セグメンテーション データセットで事前トレーニングすることにより、医療専門知識を備えた SAM を強化することが試みられています。 しかし、腫瘍の複雑さと前景領域と背景領域の不均衡により、3D 腫瘍病変セグメンテーションには依然として課題が存在します。 そこで、3D 腫瘍病変セグメンテーションに合わせた革新的なアーキテクチャであるマスク強化 SAM (M-SAM) を紹介します。 私たちは、粗いセグメンテーション マスクからの位置データを使用して医療画像の意味情報を強化し、より正確なセグメンテーション マスクの生成を容易にする、M-SAM 内の新しいマスク強化アダプター (MEA) を提案します。 さらに、M-SAM には反復改良スキームが実装されており、セグメンテーション マスクが段階的に改良され、パフォーマンスが向上します。 7 つの腫瘍病変セグメンテーション データセットに対する広範な実験により、当社の M-SAM が高いセグメンテーション精度を達成するだけでなく、堅牢な一般化も示すことが示されました。