機械学習のエレガントな数学

1 機械は学習できる！

数年前、私はシンプルな機械学習アルゴリズムのコーディング方法を学ぶ必要があると判断しました。ジャーナリストとして機械学習について書いていた私は、その基本を理解したいと考えていました。(ソフトウェア エンジニアとしての経歴が役に立ちました。) 私の最初のプロジェクトの 1 つは、基本的なニューラル ネットワークを構築して、1600 年代初頭に天文学者で数学者のヨハネス ケプラーが行ったこと、つまりデンマークの天文学者ティコ ブラーエが収集した火星の位置に関するデータを分析して惑星の運動の法則を導き出すことに挑戦することでした。

私はすぐに、人工ニューラル ネットワーク (人工ニューロンと呼ばれる計算ユニットのネットワークを使用する機械学習アルゴリズムの一種) には、ケプラーが利用できるデータよりもはるかに多くのデータが必要であることを発見しました。アルゴリズムの要求を満たすために、私は太陽系の簡単なシミュレーションを使用して、惑星の毎日の配置に関する 10 年分のデータを生成しました。

何度も失敗して行き詰まった後、私は、シミュレーションされたデータに基づいて惑星の将来の位置を予測できるニューラル ネットワークをコーディングしました。それは、見ているだけで素晴らしいものでした。ネットワークは実際にデータのパターンを学習し、たとえば、5 年後の火星の位置を予測することができました。

私はすぐに夢中になりました。もちろん、ケプラーははるかに少ない知識ではるかに多くのことを成し遂げました。数学の記号言語で体系化できる包括的な法則を考案したのです。私のニューラル ネットワークは、惑星の以前の位置に関するデータを取り込んで、将来の位置に関するデータを吐き出すだけでした。それはブラック ボックスであり、その内部の仕組みは私の初期のスキルでは解読できませんでした。それでも、機械の中にケプラーの亡霊を目撃するのは、本能的な体験でした。

このプロジェクトは、機械学習の基礎となる数学についてもっと学ぶきっかけとなりました。この数学の素晴らしさを共有したいという思いから、 機械が学習する理由。

2 すべて（ほとんど）ベクトルです。

機械学習について私が学んだ最も驚くべきことの 1 つは、惑星の位置、猫の画像、鳥の鳴き声の録音など、あらゆるものをベクトルに変換できるということです。

機械学習モデルでは、入力データと出力データの両方を表すためにベクトルが使用されます。ベクトルは、単に数字のシーケンスです。各数字は、座標系の軸に沿った原点からの距離と考えることができます。たとえば、3 つの数字のシーケンスの 1 つとして、5、8、13 があります。つまり、5 は x 軸に沿った 5 ステップ、8 は y 軸に沿った 8 ステップ、13 は z 軸に沿った 13 ステップです。これらのステップを実行すると、3D 空間内の点に到達します。これは、次のように括弧内の数字のシーケンスとして表されるベクトルを表します。 [5 8 13]。

さて、アルゴリズムで猫のグレースケール画像を表現するとします。その画像の各ピクセルは、1 バイトまたは 8 ビットの情報を使用してエンコードされた数値であるため、0 から 255 までの数値である必要があります。0 は黒、255 は白を意味し、その間の数値はさまざまなグレーの濃淡を表します。

機械の中にケプラーの幽霊を目撃するのは、本能的な体験でした。

100×100 ピクセルの画像であれば、画像には合計 10,000 個のピクセルがあります。したがって、各ピクセルの数値を一列に並べると、10,000 次元空間で猫を表すベクトルが得られます。そのベクトルの各要素は、10,000 個の軸のいずれかに沿った距離を表します。機械学習アルゴリズムは、100×100 の画像を 10,000 次元ベクトルとしてエンコードします。アルゴリズムに関する限り、猫はこの高次元空間内の点になります。

画像をベクトルに変換し、それを何らかの数学的空間内の点として扱うことで、機械学習アルゴリズムはデータ内に存在するパターンを学習し、学習した内容を使用して新しい未知のデータについて予測できるようになります。ラベルのない新しい画像が与えられると、アルゴリズムは関連するベクトル、またはその画像によって形成される点が高次元空間のどこに位置するかを確認し、それに応じて分類します。ここで得られるのは、非常に単純なタイプの画像認識アルゴリズムです。人間が猫や犬の画像として注釈を付けた一連の画像が与えられると、それらの画像を高次元空間にマッピングする方法を学習し、そのマップを使用して新しい画像に関する決定を下すアルゴリズムです。

3 一部の機械学習アルゴリズムは「ユニバーサル関数近似器」になることができます。

機械学習アルゴリズムを考える一つの方法は、入力を変換することです。 バツ、出力に、 ええ入力と出力は単一の数値またはベクトルになります。 ええ = ふ （バツ）。 ここ、 バツ 猫や犬を表す10,000次元のベクトルであり、 ええ 猫の場合は0、犬の場合は1になる可能性があり、十分な注釈付きトレーニングデータがあれば、機械学習アルゴリズムは可能な限り最適な関数を見つける役割を担っています。 ふ、変換する バツ に ええ。

ディープニューラルネットワークなどの特定の機械学習アルゴリズムは「普遍的な関数近似器」であり、どんなに複雑な関数でも原理的に近似できることを示す数学的証明がある。。

10,000 次元空間で猫を表すベクトルができました。

ディープ ニューラル ネットワークには、入力層、出力層、および入力層と出力層の間に挟まれた 1 つ以上のいわゆる隠れ層を含む人工ニューロンの層があります。普遍近似定理と呼ばれる数学的結果があり、任意の数のニューロンが与えられれば、隠れ層が 1 つだけのネットワークでも任意の関数を近似できることが示されています。つまり、データ内で入力と目的の出力の間に相関関係がある場合、ニューラル ネットワークはこの相関関係を実装する関数の非常に優れた近似値を見つけることができるということです。

これは意味深い結果であり、十分な数の入出力データを提供し、ネットワークを十分に大きくできる限り、ディープ ニューラル ネットワークがますます複雑なタスクを実行するようにトレーニングされている理由の 1 つです。

つまり、画像を取得してそれを 0 (猫) と 1 (犬) に変換する関数であれ、単語の文字列を取得して、その単語をキャプションとして使用する画像に変換する関数であれ、あるいは、前方の道路のスナップショットを取得して車に車線変更や停止などの操作を指示する関数であれ、十分なトレーニング データがあれば、ユニバーサル関数近似器は原理的にはそのような関数を学習して実装できます。可能性は無限ですが、相関関係は因果関係と同じではないことに留意してください。

リード画像: Aree_S / Shutterstock

• アニル・アナンタスワミ

  ポストする 2024年7月23日

  アニル・アナンサスワミは、AIと機械学習、物理学、計算神経科学について執筆する科学ジャーナリストです。彼は2019-20年度MITナイト科学ジャーナリズムフェローです。彼の最新の著書は 機械が学習する理由: 現代の AI の背後にある洗練された数学。

ノーチラスニュースレターを受け取る

最も聡明な現存する思想家によって解明された最先端の科学。