1721890361
2024-07-25 06:38:14
Polyak-Ruppert 平均ゼロ次確率勾配アルゴリズムの統計的推論
著者: ヤンハオ・ジン、 テーゼ・シャオ、 クリシュナクマール・バラスブラマニアン
要約: 確率的勾配アルゴリズムで訓練された統計的機械学習モデルは、重要な科学アプリケーションでますます導入されています。しかし、いくつかのそのようなアプリケーションで確率的勾配を計算することは、非常に高価であったり、時には不可能であったりします。そのような場合、導関数なしまたはゼロ次アルゴリズムが使用されます。統計的機械学習の文献でこれまで十分に扱われていない重要な問題は、実用的でありながら厳密な推論機能を備えた確率的ゼロ次アルゴリズムを備え、点推定または予測だけでなく、信頼区間またはセットを介して関連する不確実性を定量化することです。これに向けて、本研究では、まず、Polyak-Ruppert 平均確率的ゼロ次勾配アルゴリズムの中心極限定理を確立します。次に、中心極限定理に現れる漸近共分散行列のオンライン推定値を提供し、それによって、ゼロ次設定でのパラメータ推定 (または予測) のための漸近的に有効な信頼セット (または区間) を構築するための実用的な手順を提供します。
#RuppertPolyak #メソッドの使用パート #機械学習 #Monodeep #Mukherjee #著 #年 #月