自然なグラデーションの操作パート 3(機械学習 2024) | Monodeep Mukherjee 著 | 2024年4月

1. 深層学習のための逆自由高速自然勾配降下法(arXiv)

著者 ： シンウェイ・オウ、 セ・ジュー、 黄暁林、 劉宜鵬

要約 : 2 次手法は、2 次導関数や統計を組み込むことで 1 次手法よりもはるかに高速に収束できますが、計算効率が低いため、深層学習ではあまり普及しません。 これに対処するために、既存のソリューションの多くは、逆行列のサイズを削減することに重点を置いています。 ただし、各反復で逆演算子を実行する必要があります。 この論文では、最初のエポック中に逆数の計算のみを必要とする高速自然勾配降下法 (FNGD) 法を紹介します。 まず、Sherman-Morrison-Woodbury 式を使用して、サンプルごとの勾配の加重和として自然勾配降下法 (NGD) の勾配事前調整式を再定式化します。 これに基づいて、係数の計算に伴う反復逆演算を回避するために、経験的なパフォーマンスに影響を与えることなく、重み付けされた係数がエポック間で共有されます。 FNGD は、一次法の平均合計に似た、固定係数の加重合計として NGD を近似します。 したがって、FNGD の計算の複雑さは、一次法の計算の複雑さに近づく可能性があります。 提案された FNGD の効率を実証するために、画像分類タスクと機械翻訳タスクについて経験的評価を実行します。 CIFAR-100 データセットで ResNet-18 をトレーニングする場合、FNGD は KFAC と比較して 2.05 倍の高速化を達成できます。 Multi30K で Transformer をトレーニングする場合、FNGD は、ほぼ同じトレーニング時間を必要としながら、AdamW よりも 24 BLEU スコアで優れています。