単一画像のかすみ除去と除雪を共同で行う劣化適応型ニューラル ネットワーク

厳しい冬のシーンでは、キャプチャされた画像に霞と雪の劣化が同時に発生することが多く、これは高レベルのコンピューター ビジョン タスクのパフォーマンスに大きな影響を与えます。 既存の修復方法のほとんどは、1 種類の気象関連劣化のみに対処することに特化しているか、多数のパラメータを持っています。

これらの問題に対処するために、Erkang Chen と Yun Liu が率いる研究チームは、 勉強で出版されました。 コンピューターサイエンスのフロンティア。

研究チームは、単一画像のかすみ除去と除雪を共同で実現するために、劣化適応ニューラル ネットワーク (DAN-Net) と呼ばれる軽量の画像復元ネットワークを提案しました。 DAN-Net は 5 つの大規模なデータセットで検証およびテストされています。

既存の研究結果と比較して、提案された方法は、かすみ除去および除雪タスクに対して、より低い計算量で優れたパフォーマンスを保証します。

研究では、2 つのタスク固有のエキスパート ネットワークと適応ゲート型ニューラル ネットワークで構成される DAN-Net の全体的なアーキテクチャを慎重に設計しました。 タスク固有のエキスパート ネットワークは、3 つの高性能畳み込みベースのコンポーネント (つまり、MSTB、DPAM、および CLAGM) と 3 つのレベルのレイヤーを使用して構築されます。

単純にコンポーネントを繰り返し積み重ねるこれまでの学習ベースの手法とは異なり、提案された専門家は 通信網 軽量の利点を活用し、各層の慎重な設計と少数のコンポーネントの使用により、優れたパラメーターとパフォーマンスのトレードオフを実現します。

適応ゲート型ニューラル モジュールは、2 つの事前トレーニングされたエキスパート ネットワークの寄与を制御する効果的な劣化適応ガイダーとして開発されています。

実験は、RESIDE、Haze4k、CSD、SRRS、Snow 100K を含む 5 つの大規模データセットで実行されます。 実験結果は、冬景色の下での合成画像と現実世界の劣化画像の両方において、計算量が少ない、提案された DAN-Net の優位性を示しています。

今後の研究では、研究者らはタスク固有の設計の探索に焦点を当てる予定です。 専門家 ネットワークと適応ゲート型ニューラル モジュールを使用して、DAN-Net のパフォーマンスと効率を向上させます。

フロンティアズ・ジャーナル提供