Sheng Wang 氏らによって開発された新しい AI モデル BiomedParse は、さまざまな医療画像を分析し、平易な英語での対話を可能にすることで全身疾患の診断を強化し、医療診断の向上が期待できることを示しています。
Sheng Wang 氏らによって開発された新しい AI ツールである BiomedParse は、多様な医療画像を処理し、平易な英語のクエリをサポートすることで、全身疾患の診断を容易にします。
人工知能は医療画像を読み取る能力において急速に進歩しています。英国国民保健サービスによる最近の検査では、 AI ツールが 10,000 人以上の女性のマンモグラムを分析しました そして、どの患者に癌があることが判明したか、また医師が見逃した 11 件の症例を正確に特定しました。ただし、狼瘡や糖尿病などの全身性疾患の診断には、MRI から CT スキャンに至るまで、さまざまなタイプの医療画像の分析が必要になることが多いため、これらのシステムにとって大きな課題となります。
現在、科学者のチームが開発した バイオメッドパース9 種類の医療画像にわたって機能し、全身疾患をより適切に予測する AI 医療画像分析モデル。医療専門家は画像をシステムにロードし、わかりやすい英語で AI システムに質問することができます。
このチームは、ワシントン大学ポール G. アレン コンピューター サイエンス & エンジニアリング スクールの Sheng Wang 助教授、および Microsoft Research および Providence Genetics and Genomics の共著者で構成され、その結果を 11 月 18 日に雑誌で発表しました。 ネイチャーメソッド。
BiomedParse は、全身疾患をより適切に予測するために 9 種類の医療画像にわたって機能する AI 医療画像分析モデルです。医療専門家は画像をシステムにロードし、わかりやすい英語で AI ツールに画像に関する質問をすることができます。ここで、ユーザーは病理スライドの詳細について質問します。クレジット: Zhao et al.
UW News はワン氏に、このツールについて、また医療における AI の倫理と将来性について話を聞きました。
あなたの研究室では何を研究していますか?
王盛: 私たちはマルチモーダル生成 AI に焦点を当てています。つまり、複数の種類の医療画像の処理に取り組んでいます。これまでの研究では、一度に 1 種類の画像しか考慮されていませんでした。たとえば、がん研究における病理画像です。私たちの新しいアプローチは、あらゆる種類の画像を一緒に考慮して全身疾患を予測することです。糖尿病のような病気は、目、歯、腎臓など、体のいたるところに現れることがあります。目の画像だけを確認できるモデルがある場合、全身疾患に関する情報を見逃してしまう可能性があります。
Microsoft と Providence Genomics の研究者と共同で、9 種類の医療画像を処理し、テキストと画像の間で変換できる論文を発表しました。 OpenAI のような企業や組織は、 アレン人工知能研究所 最近、テキストと画像の間を移動できる AI モデルをリリースしました。医療画像はどう違うのですか?
サウスウェールズ州: たとえば、ChatGPT や Google の Gemini が猫の画像をモデル化する場合、その画像は非常に小さく、たとえば横幅 256 ピクセルです。しかし、医療画像ははるかに大きく、おそらく幅 100,000 ピクセルです。両方の画像を印刷すると、そのサイズの違いはテニスボールとテニスコートほどの差になります。したがって、同じ方法を医療画像に適用することはできません。
しかし、ChatGPT は長い文書を理解して要約するのが非常に得意です。したがって、ここでは同じ手法を使用して、非常に大きな病理画像を要約します。これらの小さな画像は、小さな画像の「文」のようなものを形成しますが、ここでの基本要素は単語や文字ではなく、小さな画像です。その後、生成 AI はこの一連の小さな画像を非常に正確に要約できます。 5月に発表しましたが、 ギガパスこの手法を用いて病理画像を処理するモデル。
最新の論文では、9 つのモダリティにわたって機能する BiomedParse を構築するツールを組み合わせており、CT スキャン、MRI、X 線などをカバーするモデルを組み込むことができます。
人々はすべてのデータを共有したがらない可能性があるため、すべてのモダリティを考慮できる 1 つのモデルを構築するのは非常に難しいことがわかりました。代わりに、画像タイプごとに 1 つのモデルを構築しました。一部は私たちによるもので、一部はハーバード大学やマイクロソフトの他の専門家によるもので、それらすべてを共有スペースに投影します。
私たちがインスピレーションを受けたのは、 エスペラントさまざまな国の話者がコミュニケーションできるように作られた人工言語で、現在ヨーロッパ全土で英語が機能しているのと似ています。私たちの BiomedParse 論文の重要なアイデアは、さまざまな医療画像モダリティに人間の言語をエスペラント語として使用することです。 CT スキャンは MRI とは大きく異なりますが、すべての医療画像には臨床レポートがあります。したがって、すべてをテキスト空間に投影します。この場合、2 つの画像が似ているのは、たとえば両方とも CT スキャンであるからではなく、似たような患者について話しているからです。
このツールの潜在的な用途は何ですか?一般開業医がさまざまな種類の画像をよりよく理解できるようになりますか?
サウスウェールズ州：はい、医療画像の検索エンジンのようなものです。これにより、専門家以外でも、専門知識を必要とする非常に特殊な医療画像についてモデルと対話できるようになります。これにより、たとえば病理画像の読み取りには高度な専門知識が必要となることが多いため、医師は画像をより深く理解できるようになります。
非常に経験豊富な医師でも、私たちのモデルを使用して画像をより迅速に分析し、微妙な変化を見つけることができます。たとえば、すべての画像をピクセルごとに見る必要はありません。私たちのモデルは最初にいくつかの結果を与えることができ、その後医師はそれらの重要な領域に焦点を当てることができます。したがって、非常に一貫した結果 (専門家による人間による注釈と比較して 90% 以上の精度) がわずか 0.2 秒で自動的に提供されるため、作業の効率が向上します。これは生物医学的オブジェクトの位置を検出し、細胞の数をカウントするツールであるため、オブジェクトを正確に検出して下流の疾患を予測するには、多くの場合 90% の精度が許容されます。ただし、これらの AI ツールが適切に使用されるようにするには、医師の指導が依然として必要です。これは彼らのスキルを置き換えるのではなく、強化する方法です。
これは医師も利用できるのでしょうか？
サウスウェールズ州：すでにデモをリリースしています。次に、UW Medicine と提携してモデルをさらに開発し、患者の同意を得て UW Medicine システムに展開したいと考えています。これはワシントン州全体で非常に大規模な取り組みです。私たちは人体のさまざまな領域、さまざまな治療法、さまざまな病気をカバーする多くのデータを収集しました。したがって、全身疾患の検出を前進させることができると期待しています。
明らかに、生成型 AI システムにはさまざまな問題があります。テキストモデルは情報を幻覚化し、間違った答えを返したり、事実をでっち上げたりします。画像ジェネレーターは物事を歪めます。このデータを医療画像のような機密性の高いものに適用することに懸念はありますか?
サウスウェールズ州: 実は、医療における生成 AI の倫理問題を特に対象とした別の論文を提出中です。一つの問題は幻覚です。たとえば、胸部 CT 画像をいくつかの AI モデルに与えて、歯の問題が何であるかを尋ねることができます。 CT スキャンから歯の問題を区別することはできないため、この質問には意味がありません。しかし、一部の既存の AI モデルは実際にこの質問に答えますが、それは明らかに間違った答えです。
もう一つの問題は倫理です。生成 AI に歯の画像を与えて、「この患者の性別と年齢は何ですか?」と尋ねることができます。それは個人情報です。あるいは、人の顔を再構築するように依頼することもできます。そこで私たちは、こうした非倫理的な質問を検出し、モデルが回答を拒否しないように取り組んでいます。
生成 AI を医療に応用することに興味を持ったのはなぜですか?
サウスウェールズ州: 私は以前、AI を使った創薬とゲノミクス研究をしていましたが、それはかなり限られた分野であることがわかりました。なぜなら、薬の開発には 5 年から 10 年かかることもあり、最も時間がかかるのは薬の試験、つまりマウスでの治験です。人体での試験など。私が医学に移ったのは、AI が画像データや画像とテキストを分析するのに非常に強力であると感じたからです。
薬物の再利用にも取り組んでいます。これは、たとえば、網膜疾患の治療に使用される薬剤が、他の目的のために設計されていなくても、心不全の治療にも使用できることを意味します。したがって、この薬がすでに網膜疾患に使用されており、心不全に効果があることが判明した場合、安全であることがわかっているため、すぐにそれを適用できます。これは、AI を使用して全身疾患を研究することで得られる潜在的な利点の 1 つです。網膜画像と心不全画像を組み合わせることで、網膜画像が心不全を予測できることが判明すれば、そのような薬が発見されるかもしれません。それがここでの長期的な目標です。
参考文献: 「9 つのモダリティにわたる生物医学的オブジェクトの共同セグメンテーション、検出、認識のための基礎モデル」Theodore Zhao、Yu Gu、Jianwei Yang、Naoto Usuyama、Ho Hin Lee、Sid Kiblawi、Tristan Naumann、Jianfeng Gao、Angela Crabtree、Jacob 著アベル、クリスティーン・ムングウェン、ブライアン・ピニング、カルロ・ビフルコ、ムー・ウェイ、ホイファン・プーン、 Sheng Wang、2024 年 11 月 18 日、 ネイチャーメソッド。
DOI: 10.1038/s41592-024-02499-w
1732779112
#が全身疾患に取り組む
2024-11-28 06:38:00