選択的忘却はAIの学習を助けることができる

オリジナルバージョン の この話 に登場 クアンタマガジン。

コンピューター科学者のチームが作成した より軽快で柔軟なタイプ 機械学習モデルの。 コツ: 知っていることを定期的に忘れる必要があります。 そして、この新しいアプローチは、最大のアプリを支える巨大なモデルに取って代わるものではありませんが、これらのプログラムが言語をどのように理解するのかについてより多くのことを明らかにする可能性があります。

新しい研究は「この分野における大きな進歩」を示すものであると同氏は述べた。 ジェ・クォン韓国基礎科学研究所のAIエンジニア。

現在使用されている AI 言語エンジンは主に次のようなものを利用しています。 人工ニューラルネットワーク。 ネットワーク内の各「ニューロン」は、他の同様のニューロンから信号を受信し、いくつかの計算を実行し、複数のニューロン層を介して信号を送信する数学関数です。 最初は情報の流れは多かれ少なかれランダムですが、トレーニングを通じて、ネットワークがトレーニング データに適応するにつれてニューロン間の情報の流れが改善されます。 たとえば、AI 研究者がバイリンガル モデルを作成したい場合、両方の言語の大量のテキストを使用してモデルをトレーニングします。これにより、1 つの言語のテキストを同等の言語に関連付けるようにニューロン間の接続が調整されます。他の言葉。

ただし、このトレーニング プロセスには多くのコンピューティング能力が必要です。 モデルがあまりうまく機能しない場合、または後でユーザーのニーズが変化した場合、それを適応させるのは困難です。 「100 の言語を備えたモデルがあるとしますが、必要な 1 つの言語がカバーされていないと想像してください。」 ミケル・アルテクス、新しい研究の共著者であり、AI スタートアップ Reka の創設者です。 「最初からやり直すこともできますが、それは理想的ではありません。」

Artetxe と彼の同僚は、これらの制限を回避しようと試みました。 数年前, Artetxeらは、ニューラルネットワークを1つの言語で訓練し、トークンと呼ばれる単語の構成要素について知っている情報を消去した。 これらは、埋め込み層と呼ばれるニューラル ネットワークの最初の層に保存されます。 モデルの他のレイヤーはすべてそのまま残しました。 最初の言語のトークンを消去した後、2 番目の言語でモデルを再トレーニングし、その言語からの新しいトークンで埋め込み層を埋め込みました。

モデルに不一致の情報が含まれていたとしても、再トレーニングは機能し、モデルは新しい言語を学習して処理できました。 研究者らは、埋め込み層にはその言語で使用される単語に特有の情報が保存されている一方、ネットワークのより深いレベルには人間の言語の背後にある概念に関するより抽象的な情報が保存されており、それがモデルによる第二言語の学習に役立っているのではないかと推測した。

「私たちは同じ世界に住んでいます。 私たちは同じものを異なる言葉で概念化します」と異なる言語で述べた チェン・イーホン、最近の論文の筆頭著者。 「だからこそ、これと同じ高度な推論がモデルに組み込まれているのです。 リンゴとは単なる言葉ではなく、甘くてジューシーなものです。」