1750939815
2025-06-25 13:55:00
米国北東部では、メイン湾は、クジラ、サメ、クラゲ、ニシン、プランクトン、その他数百種の本拠地である地球上で最も生物学的に多様な海洋生態系の1つです。しかし、この生態系が豊かな生物多様性をサポートしているにもかかわらず、急速な環境変化を遂げています。メイン湾は、世界の海洋の99％よりも速く温暖化しており、結果がまだ展開されています。
Lobstgerと呼ばれるMIT Sea Grantで開発された新しい研究イニシアチブは、生成表現を通じて海洋生物生態学的システムを学習するために略で、人工知能と水中写真を結びつけて、これらの変化に対して脆弱な海洋生命を記録し、新しい視覚的に一般と共有します。 MIT Sea Grant Keith EllenbogenとMIT Mechanical Engineering PhDの学生Andreas Mentzelopoulosの水中写真家と訪問アーティストが共同主導し、プロジェクトは、フィールドベースの写真データを構築することで生成AIが科学的ストーリーテリングを拡大する方法を探ります。
19世紀のカメラが自然界を文書化して明らかにする能力を変えたように – 前例のないディテールで生活を捉え、遠いまたは隠された環境を視野に入れる – 生成AIは、視覚的なストーリーテリングの新しいフロンティアをマークします。初期の写真と同様に、AIは創造的で概念的な空間を開き、信頼性をどのように定義し、科学的および芸術的視点をどのように伝えるかに挑戦します。
Lobstgerプロジェクトでは、生成モデルは、芸術的な意図、技術的正確さ、正確な種の識別、明確な地理的コンテキストで作られた各画像（各画像）のキュレーションされたライブラリでのみトレーニングされています。現実世界の観測に基づいた高品質のデータセットを構築することにより、プロジェクトは、結果の画像が視覚的完全性と生態学的関連性の両方を維持することを保証します。さらに、Lobstgerのモデルは、Mentzelopoulosによって開発されたカスタムコードを使用して構築され、外部データまたはモデルからの潜在的なバイアスからプロセスと出力を保護します。 Lobstgerの生成AIは、実際の写真に基づいて構築され、研究者の視覚的な語彙を拡大して、自然界との国民のつながりを深めます。
この海洋（Mola Mola）の画像は、Lobstgerの無条件モデルによって生成されました。
AI生成画像：Keith Ellenbogen、Andreas Mentzelopoulos、およびLobstger。
その中心に、ロブスガーは芸術、科学、技術の交差点で動作します。このプロジェクトは、写真の視覚言語、海洋科学の観察的厳密さ、および生成AIの計算力から引き出されます。これらの分野を統合することにより、チームは海洋生活を視覚化する新しい方法を開発するだけでなく、環境物語の伝え方を再考しています。この統合的なアプローチにより、Lobstgerは研究ツールと創造的な実験の両方になります。これは、MITの長年の学際的な革新の伝統を反映したものです。
ニューイングランドの沿岸水域での水中写真は難しいことで有名です。限られた視界、渦巻く堆積物、泡、および海洋生物の予測不可能な動きはすべて、絶え間ない課題をもたらします。過去数年間、エレンボゲンはこれらの課題をナビゲートしており、プロジェクト「Space to Sea：New Englandの海洋の荒野の視覚化」を通じて、この地域の生物多様性の包括的な記録を構築しています。水中画像のこの大きなデータセットは、Lobstgerの生成AIモデルをトレーニングするための基盤を提供します。画像は多様な角度、照明条件、動物の行動にまたがって、芸術的に印象的で生物学的に正確な視覚的なアーカイブをもたらします。
逆拡散による画像合成：この短いビデオは、ガウスの潜在ノイズからロブスガーの無条件モデルを使用したフォトリアリックな出力までの非ノイズ軌道を示しています。反復的な除去には、訓練されたニューラルネットワークを通過する1,000回のフォワードパスが必要です。
ビデオ：キースエレンボーゲンとアンドレアスメンツロプロス /海のグラント
Lobstgerのカスタム拡散モデルは、生物多様性のエレンボゲン文書だけでなく、彼がそれをキャプチャするために使用する芸術的なスタイルを複製するように訓練されています。数千の実際の水中画像から学ぶことにより、モデルは、自然照明の勾配、種固有の色、さらには懸濁粒子や屈折日光によって作成された大気のテクスチャーなど、細粒の詳細を内面化します。結果は、視覚的に正確に見えるだけでなく、没入感と感動を感じる画像です。
モデルは、新しい、合成、科学的に正確な画像を無条件に生成し（すなわち、ユーザーの入力/ガイダンスを必要としない）、条件付き（つまり、画像からイメージまでの生成）を強化することができます。 AIを写真ワークフローに統合することにより、Ellenbogenはこれらのツールを使用して乱流水で詳細を回復したり、照明を調整して重要な被験者を強調したり、フィールドでキャプチャすることがほとんど不可能なシーンをシミュレートできます。チームはまた、このアプローチが同様の課題に直面している他の水中写真家や画像編集者に利益をもたらす可能性があると考えています。このハイブリッド方式は、キュレーションプロセスを加速し、ストーリーテラーがより完全で一貫した視覚的な物語を表面の下で構築できるように設計されています。
左：Lobstgerの画像から画像から画像へのモデルを使用したアメリカのロブスターの拡張画像。右：元の画像。
左：Keith Ellenbogen、Andreas Mentzelopoulos、およびLobstgerによるAI Genertated Image。右：キースエレンボーゲン
1つの重要なシリーズでは、エレンボゲンはライオンのたてがみのクラゲ、青いサメ、アメリカのロブスター、海洋マンボウの高解像度画像を撮影しました（クールクール）沿岸水域での自由なダイビング中。 「高品質のデータセットを取得するのは簡単ではありません」とEllenbogen氏は言います。 「複数のダイビング、逃した機会、予測不可能な条件が必要です。しかし、これらの課題は、水中のドキュメントを困難でやりがいのあるものにするものの一部です。」
Mentzelopoulosは、Ellenbogenの画像に接地されたLobstgerの潜在的な拡散モデルのファミリーをトレーニングするためのオリジナルのコードを開発しました。このようなモデルを開発するには、高レベルの技術的専門知識が必要であり、ゼロからのトレーニングモデルは、数百時間の計算と綿密なハイパーパラメーターチューニングを要求する複雑なプロセスです。
このプロジェクトは、並行プロセス、つまり写真撮影によるフィールドドキュメンテーションと、モデルの開発による反復トレーニングを反映しています。エレンボゲンはこの分野で働き、海洋動物とのまれでつかの間の出会いを捉えています。 Mentzelopoulosは研究室で機能し、それらの瞬間を、海の視覚的言語を拡張して再解釈できる機械学習コンテキストに変換します。
「目標は写真を置き換えることではありません」とMentzelopoulos氏は言います。 「それはそれを構築し、それを補完することです。目に見えない目に見えるものを作り、人々が感情的にも知的にも共鳴するように環境の複雑さを見るのを助けます。私たちのモデルは、生物学的リアリズムだけでなく、現実世界の関与と行動を促進できる感情的な充電を捉えることを目指しています。」
Lobstgerは、技術的な解釈と直接的な観察を統合するハイブリッドの未来を指摘しています。チームの長期的な目標は、メイン湾で見られる幅広い種を視覚化できる包括的なモデルを開発し、最終的には世界中の海洋生態系に同様の方法を適用できることです。
研究者は、写真と生成AIが対立ではなく連続体を形成することを示唆しています。写真は、実際の出会いの間にテクスチャ、光、動物の行動を捉えていますが、AIは、科学データと芸術的ビジョンに基づいて、見られるものを超えて、理解、推測、または想像できるものに向かってそのビジョンを拡張します。一緒に、彼らはイメージ作りを通して科学を伝えるための強力なフレームワークを提供します。
生態系が急速に変化している地域では、視覚化の行為は単なる文書以上のものになります。それは、認識、エンゲージメント、そして最終的には保全のためのツールになります。 Lobstgerはまだ初期段階にあり、チームはプロジェクトが進化するにつれて、より多くの発見、画像、洞察を共有することを楽しみにしています。
リード画像からの回答：Lobstgerの無条件モデルを使用して左の画像が生成され、右の画像は本物です。
詳細については、お問い合わせください キースエルボー そして アンドレアスメンツェロプロス。
#aiと水中の写真を統合して隠された海の世界を明らかにする #MITニュース