AI 光学顕微鏡は人間の専門家と同じくらい正確に 2D 材料を分析します

デューク大学の Haozhe “Harry” Wang の電気およびコンピュータ工学研究室は、この秋、人工知能という珍しい新しい研究室メンバーを迎えました。 OpenAI の ChatGPT や Meta の Segment Anything Model (SAM) などの公開されている AI 基盤モデルを使用して、Wang のチームは ATOMIC (Autonomous Technology for Optical Microscopy & Intelligent Characterization) を構築しました。これは、訓練を受けた大学院生と同じくらい正確に材料を短時間で分析できる AI 顕微鏡プラットフォームです。

「私たちが構築したシステムは、指示に従うだけでなく、指示を理解します」とワン氏は語った。 「ATOMIC は、人間の専門家と同じようにサンプルを評価し、独自に決定を下して結果を生み出すことができます。」

10月2日発行の雑誌に掲載されました ACSナノ、この研究結果は、AI システムが人間と協力して実験を計画し、機器を実行し、データを解釈する自律研究の新時代を示しています。

ATOMICの仕組み

ワン氏のグループは、次世代半導体、センサー、量子デバイスの有望な候補となる二次元 (2D) 材料、つまり原子 1 個または数個の厚さの結晶を研究しています。優れた電気特性と柔軟性により、エレクトロニクスに最適ですが、製造上の欠陥によりこれらの利点が損なわれる可能性があります。層がどのように積層されているか、また微細な欠陥が含まれているかどうかを判断するには、骨の折れる作業と長年の訓練が必要です。

「これらの物質の特徴を明らかにするには、通常、顕微鏡画像のあらゆるニュアンスを理解する人が必要です」とワン氏は言う。 「大学院生がその点に到達するには、数か月から数年にわたる高度な科学の授業と経験が必要です。」

プロセスをスピードアップするために、Wang のチームは既製の光学顕微鏡を ChatGPT にリンクし、サンプルの移動、画像の焦点合わせ、光レベルの調整などの基本的な操作をモデルが処理できるようにしました。最上位には、個別のオブジェクトを識別するように設計されたオープンソースのビジョン モデルである SAM が重ねられました。これには、材料サンプルの場合、欠陥を含む領域と純粋な領域が含まれます。

2 つの AI は一緒になって、研究室内で強力なツールを形成しました。これは、自ら見て、分析し、行動することができる一種の仮想研究室仲間です。

ただし、汎用 AI を信頼できる科学パートナーに変えるには、Wang 研究室による大幅なカスタマイズが必要でした。 SAM は顕微鏡画像内の領域を認識できましたが、材料研究ではよくある問題であるレイヤーの重なりに苦労していました。それを克服するために、彼らはトポロジ補正アルゴリズムを追加してそれらの領域を改良し、単層領域を多層スタックから分離しました。

最後に、チームはシステムに、ChatGPT が自律的に実行できる光学特性に基づいて孤立した領域を分類するように依頼しました。

その結果は注目に値するものでした。AI 顕微鏡は、さまざまな 2D マテリアルにわたって、人間による分析と同等かそれを上回り、層領域や微妙な欠陥を最大 99.4% の精度で識別しました。このシステムは、露出オーバー、焦点不良、低照度などの不完全な条件下で撮影された画像や、場合によっては人間の目には見えない斑点状の欠陥が存在する場合でも、このパフォーマンスを維持しました。

「このモデルは、人間には容易に見ることができないスケールで粒界を検出できる可能性があります」と、Jingyun “Jolene” Yang博士は述べた。ワンの研究室の学生であり、この論文の筆頭著者。 「しかし、これは魔法ではありません。ズームインすると、ATOMIC はピクセル単位のレベルで見ることができるので、私たちの研究室にとって素晴らしいツールになります。」

このシステムは、微細な欠陥を特定して分類することにより、Wang のグループが 2D 材料の層の数を決定し、追跡調査に適した元の領域を正確に特定するのに役立ちます。これらの高品質の領域は、ソフト ロボット工学や次世代エレクトロニクスなど、Wang の研究室の他の研究に使用できます。

さらに驚くべきことに、このシステムには特殊なトレーニング データが必要ありませんでした。従来のディープラーニングのアプローチでは、何千ものラベル付き画像が必要です。ワン氏の「ゼロショット」手法は、広範囲にわたる人間の知識に基づいてトレーニングされた基礎モデルの既存のインテリジェンスを活用して、即座に適応しました。

研究者にとってそれが何を意味するか

ワン氏にとって、イノベーションに対する興奮はスピードだけではありません。それはまた、現代の研究者になるために自由に使えるテクノロジーを活用するように生徒たちに教えることでもあります。

「昨年、AIは大きく進歩しました。私たちがこの時代を受け入れてこれらのAIツールを活用しなければ、AIツールが私たちに取って代わるかもしれないと王博士は言いました」とヤン博士は語った。 「多くのサンプルとさまざまな条件で ATOMIC システムをテストしましたが、非常に堅牢です。」

ワン氏は、化学から生物学に至るまで、単調な光学分析が進歩を遅らせることが多い分野に応用できる可能性があると考えています。これらのワークフローを簡素化することで、学生、業界エンジニア、または好奇心と顕微鏡を持つ人なら誰でも高度な研究に取り組むことができるようになります。

同時に、ワン氏は人間が最新情報を常に把握できるようにすることの重要性を強調します。基礎モデルは予期しない動作をする可能性があり、同じプロンプトに対して異なる結果が生成されることがあります。彼のグループは堅牢性を評価するために数千回の繰り返しをテストし、わずかな変動はあるものの、全体的な精度は依然として高いことを発見しました。

「目標は専門知識を置き換えることではなく、それを拡大することだ」とワン氏は語った。 「AI が見つけたものを解釈し、それが何を意味するのかを判断するには、依然として人間が必要です。しかし、数週間にわたる分析をわずか数秒で完了できるパートナーがあれば、新たな発見の可能性は飛躍的に高まります。」