VFF-Net アルゴリズムは、AI トレーニング用のバックプロパゲーションに代わる有望な代替手段を提供します

最新の人工知能 (AI) モデルを強化するディープ ニューラル ネットワーク (DNN) は、画像、音声、テキストなどのさまざまな種類のデータから隠れたパターンを学習して、予測や分類を行う機械学習システムです。 DNN は、その驚くべき予測精度により多くの分野を変革してきました。 DNN のトレーニングは通常、バックプロパゲーション (BP) に依存します。

DNN の成功には BP が不可欠となっていますが、BP には収束の遅さ、過剰適合、高い計算要件、ブラック ボックスの性質など、いくつかの制限があります。

最近、BP をバイパスして各層が個別にトレーニングされるフォワードフォワード ネットワーク (FFN) が有望な代替手段として浮上しています。ただし、FFN を適用すると、 畳み込みニューラル ネットワーク (>)、広く使用されています。 画像解析、難しいことが判明しました。

この課題に対処するために、ソウル科学技術大学電気情報工学科のギルハ・リー氏とヒョン・キム准教授が率いる研究チームは、ビジュアルフォワードフォワードネットワーク（VFF-Net）と呼ばれる新しいトレーニングアルゴリズムを開発した。チームにはジン・シン氏も含まれていた。

彼らの研究は、 ニューラルネットワーク。

> のトレーニングに対する FNN の課題について説明したリー氏は、「> のトレーニングに FFN を直接適用すると、入力画像の情報損失が発生し、精度が低下する可能性があります。さらに、多数の畳み込み層を備えた汎用 > の場合、各層を個別にトレーニングするとパフォーマンスの問題が発生する可能性があります。当社の VFF-Net はこれらの問題に効果的に対処します。」と述べています。

VFF-Net では、ラベルワイズ ノイズ ラベリング (LWNL)、コサイン類似度ベースのコントラスト損失 (CSCL)、およびレイヤー グループ化 (LG) という 3 つの新しい方法論を導入しています。

LWNL では、ネットワークは 3 種類のデータ (ノイズのない元の画像、正しいラベルが付いたポジティブ画像、および誤ったラベルが付いたネガティブ画像) でトレーニングされます。これは、入力画像のピクセル情報の損失を排除するのに役立ちます。

CSCL は、従来のグッドネスベースの貪欲アルゴリズムを修正し、特徴マップ間のコサイン類似性に基づいた対照的な損失関数を適用します。基本的に、データ パターンの方向に基づいて 2 つの特徴表現間の類似性を比較します。これは、画像分類に必要な意味のある空間情報を保存するのに役立ちます。

最後に、LG は、同じ出力特性を持つレイヤーをグループ化し、補助レイヤーを追加することで、個々のレイヤーのトレーニングの問題を解決し、パフォーマンスを大幅に向上させます。

これらの革新のおかげで、VFF-Net は従来の FFN と比較して画像分類パフォーマンスを大幅に向上させます。 4 つの畳み込み層を備えた > モデルの場合、CIFAR-10 および CIFAR-100 データセットのテスト エラーは、それぞれ 8.31% と 3.80% 減少しました。さらに、完全に接続されたレイヤーベースの VFF-Net は、MNIST データセットでわずか 1.70% のテストエラーを達成しました。

「BP から離れることにより、VFF-Net は、大規模なコンピューティング リソースを必要としない、より軽量でより脳に近いトレーニング方法への道を開きます」とキム博士は言います。

「これは、強力な AI モデルが個人のデバイス上で直接実行できることを意味します。 医療機器、家電製品の開発により、エネルギーを大量に消費するデータセンターへの依存を減らし、AI をより持続可能なものにします。」

全体として、VFF-Net により、AI の高速化と低コスト化が可能になると同時に、より自然で脳に似た学習が可能になり、より信頼できる AI システムが促進されます。