1707336035
2024-02-07 19:43:23
導入
畳み込みニューラル ネットワーク (>) は、その高い精度と汎用性により、画像のセグメンテーションと分類のためにコンピューター ビジョンで広く使用されています (1）。 レイヤーまたはチャネルを追加して > の複雑さを増すと、一般にパフォーマンスが向上しますが、消費電力と計算時間の増加が犠牲になります (2）、システムのサイズと重量も増加し、リソースに制約のあるシステムでは実質的なパフォーマンスの限界が生じます（3）。 ネットワーク アーキテクチャ (2) およびハードウェア アクセラレータ (3) 近年徐々に改善されてきましたが、コンピュータ ビジョンにおけるイメージング システムには、計算タスクのパフォーマンスと効率を向上させるための潜在力がまだほとんど開発されていません。 改善のための 1 つの手段は、エッジ検出などの低レベルの特徴エンコード操作を光学式フロントエンドにオフロードすることです (4）。 これらの操作のオフロードは、通常、> の最初の層によって実行されます (1、 5）をアナログ光学システムに組み込むと、精度を犠牲にすることなく、より高速でエネルギー効率の高い > を実現できる可能性があります。コヒーレント システムでの干渉により、直接的な完全光学エッジ検出が可能になるため、コヒーレント照明下で光学エッジ検出を容易に実現できます。 従来のアプローチは、4f システムを使用して、入射光に周波数空間フィルターを適用することでした (6–9)、ただし最近のアプローチではメタサーフェス (10–16) よりコンパクトな形式で同様のフィルタリングを実現しました。 フォトニック結晶スラブ (17、 18)、多層フィルム(19、 20)、誘電体反射板(21）も提案されている。 現実世界のイメージング アプリケーションのほとんどは、インコヒーレントな照明や熱放射を伴う受動的であり、インコヒーレントな点像分布関数 (PSF) に固有の制約があるため、完全な光学エッジ検出を実行することはできません。 インコヒーレント PSF は強度分布であるため、実数の正の値に制限されますが、エッジ検出が可能なすべての PSF は正と負の両方の値を必要とします (22）。 ただし、バイポーラ PSF は、2 つの異なる PSF を使用して 2 つの画像を収集し、ピクセルごとのデジタル減算を実行するハイブリッド光電子システムで合成できます (6）。 これは、2 つの別々の絞り、つまり波長 (23、 24)、または偏光 (25これまでのアプローチでは、シミュレートされた条件または実験室の条件でインコヒーレントなエッジ検出を実証することに成功しましたが、(23–25）、周囲の照明や熱放射を伴う現実世界のシーンでのエッジ検出に関連する課題に十分に取り組んでいません。 インコヒーレント光源は本質的に広帯域です。 したがって、実際の光学設計では色収差を考慮する必要があります。 さらに、光学システムの広帯域 PSF は、エッジ画像の品質と解像度だけでなく、デジタル減算中のノイズ蓄積により信号対ノイズ比 (SNR) も決定します (26、 27）。 光学設計を簡素化するために帯域幅フィルターや絞りの縮小を使用できますが、どちらを使用しても貴重な信号がブロックされ、システムの感度が制限され、低照度設定での使用が妨げられます。 これは特に長波赤外線 (LWIR) 領域に当てはまります。LWIR 領域は、視界の悪い場所でも見ることができるため、自律システムで広く普及しています (28、 29) 状態を確認し、熱特性に基づいて物体を識別します (30）。 LWIR 熱放射に対する光学エッジ検出の実装は、熱放射がインコヒーレントかつ広帯域であるだけでなく、信号とコントラストにも制限があるため、特に困難です (29）。 したがって、最適なパフォーマンスを達成するには、光学系は、結果として得られるエッジ画像の品質、解像度、信号を同時に考慮しながら、カメラの帯域幅と絞り全体にわたって動作するように設計する必要があります。メタサーフェスは、位相、振幅、位相を効率的に制御するためのコンパクトなプラットフォームを提供します。これにより、光学エッジ検出用の PSF を形成するための貴重なツールになります。 ただし、メタレンズの開口サイズ、開口数、および動作帯域幅は関連していますが、レンズ サイズが大きくなると、最終的には動作帯域幅が狭くなります(31、 32）。 この問題に対処するには、多層（33)、カスケード (34)、非周期 (35)、または拡張された焦点深度 (36) メタサーフェスは、色彩のパフォーマンスを向上させるために研究されてきました。 それにもかかわらず、これらのアプローチは依然として、集束効率の制限やデバイスサイズの小ささなどの課題に直面しています。 代替ソリューションには、従来の屈折レンズとメタサーフェス補正器を組み合わせることが含まれます (37）。 このアプローチでは、屈折レンズが自然に広帯域の集束を実現する一方、メタ表面が波長依存の位相補正を与え、最大分散要件を大幅に緩和して、大規模な広帯域性能を実現します。
ここでは、屈折光学系と大口径の逆設計メタサーフェスを組み合わせて双極性ラプラシアン カーネルの正と負の成分を作成することにより、実世界の条件で動作する LWIR 電気光学エッジ検出システムを実証します。 このシステムは、最初に 2 開口アプローチで実証され、次に偏波多重化を使用して単一開口アーキテクチャに拡張されます。 どちらの場合も、屈折光学部品と組み合わせることで、大口径メタレンズに伴う一般的な帯域幅の制限を克服できます。 さらに、逆設計を使用して、合成されたエッジ イメージの SNR を維持しながら、広帯域 LWIR 放射のパフォーマンスを最適化します。 このシステムは、現実世界のシーンからの熱放射の LWIR 電気光学エッジ検出に使用され、実用的なコンピューター ビジョン システムの高速化されたフロントエンドとしてこのアプローチが実装できる可能性を示しています。
議論
結論として、7.5 ～ 13.5 μm の LWIR イメージング バンド全体で動作する、広帯域、高 SNR、インコヒーレント エッジ検出のための電気光学システムを提示しました。 この性能は、屈折光学系とメタサーフェスを多対物レンズ逆設計と組み合わせたハイブリッド光学システムによって実現されました。 これらの進歩により、既製のハードウェアを使用して現実世界のシーンをイメージングできるようになり、イメージング センサーでの偏光識別と組み合わせて複屈折メタサーフェスを使用することで、このアプローチが単一開口アプローチに拡張されました。 提示されたシステムはラプラシアン フィルターを適用するように設計されていますが、このアプローチは任意の微分および畳み込み演算に適用できます。
この高 SNR、広帯域光学特徴検出の概念実証デモンストレーションは、コンピュータ ビジョン システムの実用的な光学フロントエンド前処理を実現するために応用できる可能性があります。 低レベルの特徴検出をイメージング システムにオフロードすると、消費電力と遅延の両方が削減され、一般的なコンピュータ ビジョン システムのパフォーマンスが向上する可能性があります。 一般的なデジタル畳み込み層は、いくつかの並列畳み込みチャネルで構成されており、これは開口部ミニレンズ アレイの分割を使用して光学的に実現できます (43)、各ミニレンズの PSF を形成するために使用される複屈折メタサーフェス アレイと組み合わせられます。 デジタル コンボリューションの計算時間はコンボリューション カーネルのサイズに応じて変化しますが、光コンボリューションの速度はカーネル サイズに依存せず、大規模なコンボリューション カーネルによって実現される浅いネットワークで使用すると、大幅な高速化が可能になります (44）。 これは、サイズ、重量、消費電力の制約に直面しながらも、遅延や通信帯域幅の要件によりオンボード処理も実行する必要がある自律型およびリモート センシング システムに特に影響を与える可能性があります。
謝辞
資金提供: この研究は、助成金 N00014-21-1-2468 (BTS、HZ、および JV) の下で海軍研究局から資金提供を受け、海軍革新的科学工学 (NISE) プログラム (GTF) によって支援されました。 決裁文書管理番号は0543-688-23です。
著者の貢献: 概念化: JV および GTF 方法論: BTS および HZ ソフトウェア: BTS および HZ 調査: BTS および GTF 執筆 – 原案: BTS 執筆 – レビューおよび編集: JV および GTF
競合する利益: 著者は、競合する利益がないことを宣言します。
データと資料の入手可能性: 論文の結論を評価するために必要なすべてのデータは、論文および/または補足資料に含まれています。
#インコヒーレント赤外線用の広帯域かつ大口径メタサーフェス #エッジ #エンコーダ