スパース オートエンコーダの操作パート 8 (機械学習) | Monodeep Mukherjee 著 | 2024年4月

1. 迅速かつ堅牢な特徴選択: オートエンコーダー向けのエネルギー効率の高いスパース トレーニングの強み(arXiv)

著者 ： ザフラ・アタシュガヒ、 ガーダ ソカル、 ティム・ヴァン・ダー・リー、 エレナ・モカヌ、 デセバル・コンスタンティン・モカヌ、 レイモンド・ヴェルドハウス、 ミコラ・ペチェニスキー

要約 : 最近の高次元データ量の増加により、高い計算コストやメモリ要件など、大きな複雑さが生じています。 データセットの最も関連性が高く有益な属性を特定する特徴選択は、この問題の解決策として導入されました。 既存の特徴選択方法のほとんどは、計算効率が低くなります。 非効率的なアルゴリズムは高いエネルギー消費につながりますが、これは計算リソースとエネルギー リソースが限られているデバイスにとっては望ましくないことです。 この論文では、教師なし特徴選択のための新規かつ柔軟な方法を提案します。 QuickSelection と呼ばれるこの方法は、特徴の重要性を測定する基準として、スパース ニューラル ネットワーク内のニューロンの強度を導入します。 この基準は、スパース進化トレーニング手順でトレーニングされたスパース接続のノイズ除去オートエンコーダーとブレンドされ、すべての入力特徴の重要性を同時に導き出します。 スパース性をシミュレートするために接続上でバイナリ マスクを使用する一般的なアプローチとは対照的に、QuickSelection を純粋にスパースな方法で実装します。 これにより、速度が大幅に向上し、メモリが削減されます。 5 つの低次元データセットと 3 つの高次元データセットを含むいくつかのベンチマーク データセットでテストした場合、提案された方法は、分類とクラスタリングの精度、実行時間、および最大メモリ使用量の最適なトレードオフを達成できます。機能の選択。 さらに、私たちが提案する方法は、最先端のオートエンコーダベースの特徴選択方法の中で最も少ないエネルギーを必要とします。