AI における重みとは何ですか?

すべての ANN には、ノード、エッジ、重みという 3 つのコンポーネントがあります。代表的なイラスト。 |写真クレジット: 6690img/Unsplash

人工ニューラル ネットワーク (ANN) と呼ばれる機械学習モデルは世界を席巻し、絶滅の危機に瀕した言語の復活から創薬の加速に至るまで、さまざまな分野を変革しました。

すべての ANN には、ノード、エッジ、重みという 3 つのコンポーネントがあります。科学者たちはもともと、人間の脳の学習動作を模倣するために ANN を設計しました。ノードはニューロンのように動作します。つまり、入力信号を受け入れ、何らかの方法で操作し、出力信号を送信する単純なコンピューターです。ノード間の接続はエッジと呼ばれ、シナプスを模倣します。

ただし、ノードやエッジとは異なり、重みは完全に数学的に存在します。重みはエッジの強度を示します。重みが高くなるほど、そのエッジに沿って送信される信号は強くなり、宛先ノードはより多くの注意を払うようになります。 ANN が新しい情報を「学習」すると、基本的にさまざまなエッジの重みを調整して、最終結果をさらに強化します。

最近、オープンソース イニシアチブ (OSI) は、物議を醸している「オープンソース AI」の定義を発表しました。オープンソース パラダイムは透明性のモデルですが、OSI の定義では、ANN がトレーニングするデータを非表示にすることが許可されています。これは多くの状況で懸念されますが、医療 AI などの一部の状況では、データの隠蔽が不可欠です。

このギャップを埋めるために、セキュリティ研究者のブルース・シュナイアー氏は、OSI の定義の名前を「オープンソースの重み」に変更することを提案しました。これにより、ANN の重みはオープンソースになりますが、そのトレーニング データはオープンソースではなくなります。つまり、「オープンソースの重み」を備えた ANN は、データを明らかにすることなく、入力データをどのように処理するかを明らかにすることになります。

この議論は、AI において重みが果たす重要な役割を示しています。