大規模な言語モデルは、保存された知識を取得するために驚くほど単純なメカニズムを使用します。 マサチューセッツ工科大学ニュース

ChatGPT などの人気の人工知能チャットボットを強化するような大規模な言語モデルは、非常に複雑です。 これらのモデルはカスタマー サポート、コード生成、言語翻訳などの多くの分野でツールとして使用されていますが、科学者はまだモデルがどのように機能するかを完全には理解していません。

内部で何が起こっているのかをよりよく理解するために、MIT などの研究者は、これらの巨大な機械学習モデルが保存された知識を取得するときに機能するメカニズムを研究しました。

彼らは、驚くべき結果を発見しました。大規模言語モデル (LLM) は、保存されたファクトを復元してデコードするために非常に単純な線形関数を使用することがよくあります。 さらに、このモデルは、同様のタイプのファクトに対して同じデコード関数を使用します。 線形関数、つまり 2 つの変数のみを持ち、指数を持たない方程式は、2 つの変数間の直接的な直線の関係を捉えます。

研究者らは、さまざまな事実に対する線形関数を特定することで、モデルを精査して、新しい主題について何を知っているか、またその知識がモデル内のどこに保存されているかを確認できることを示しました。

研究者らは、これらの単純な関数を推定するために開発した手法を使用して、モデルがプロンプトに不正確に答えた場合でも、多くの場合正しい情報を保存していることを発見しました。 将来的には、科学者はそのようなアプローチを使用してモデル内の虚偽を見つけて修正できるようになり、モデルが不正確または無意味な答えを与える傾向が軽減される可能性があります。

「これらのモデルは非常に複雑な非線形関数であり、大量のデータに基づいてトレーニングされており、理解するのが非常に困難ですが、内部では非常に単純なメカニズムが機能している場合があります。 これはその一例です」と、電気工学およびコンピュータサイエンス (EECS) の大学院生であり、論文の共同主著者であるエヴァン・ヘルナンデスは言います。 これらの発見を詳述した論文。

ヘルナンデス氏は共同筆頭著者で、ノースイースタン大学のコンピューターサイエンス大学院生であるアーナブ・シャルマ氏とともにこの論文を執筆した。 彼のアドバイザーであるジェイコブ・アンドレアスは、EECS の准教授であり、コンピューターサイエンスおよび人工知能研究所 (CSAIL) のメンバーです。 主著者の David Bau 氏は、ノースイースタン大学のコンピューター サイエンス助教授です。 MIT、ハーバード大学、イスラエル工科大学など。 この研究は学習表現に関する国際会議で発表される予定です。

事実の発見

ほとんどの大規模な言語モデルは、トランスフォーマー モデルとも呼ばれます。 ニューラルネットワーク。 人間の脳に大まかに基づいたニューラル ネットワークには、相互接続された何十億ものノード、つまりニューロンが含まれており、それらは多くの層にグループ化され、データをエンコードして処理します。

トランスフォーマーに保存されている知識の多くは、サブジェクトとオブジェクトを結び付ける関係として表現できます。 たとえば、「マイルス・デイヴィスはトランペットを演奏する」は、マイルス・デイヴィスという主語とトランペットという目的語を結び付ける関係です。

トランスフォーマーはより多くの知識を得るにつれて、特定の主題に関する追加の事実を複数のレイヤーにわたって保存します。 ユーザーがその主題について質問した場合、モデルは最も関連性の高い事実をデコードしてクエリに応答する必要があります。

誰かが「マイルス・デイヴィスが演奏しています」と言ってトランスフォーマーを促したとしたら、 。 」 モデルは「イリノイ」（マイルス・デイビスが生まれた州）ではなく「トランペット」と答える必要があります。

「ネットワークの計算のどこかに、マイルス・デイヴィスがトランペットを演奏しているという事実を探しに行き、その情報を引き出して次の単語を生成するのに役立つメカニズムがなければなりません。 私たちはそのメカニズムが何であるかを理解したかったのです」とヘルナンデス氏は言います。

研究者らは、LLM を調査する一連の実験を設定し、LLM が非常に複雑であるにもかかわらず、モデルが単純な一次関数を使用して関係情報をデコードしていることを発見しました。 各関数は、取得されるファクトのタイプに固有です。

たとえば、トランスフォーマーは、人が演奏する楽器を出力したい場合には常に 1 つのデコード関数を使用し、人が生まれた状態を出力したい場合には毎回異なる関数を使用します。

研究者らは、これらの単純な関数を推定する方法を開発し、「国の首都」や「バンドのリードシンガー」など、47 の異なる関係の関数を計算しました。

考えられる関係は無限に存在する可能性がありますが、研究者らはこの特定のサブセットを研究することを選択しました。なぜなら、これらはこの方法で記述できる事実の種類の代表であるためです。

彼らは、対象を変更して各機能をテストし、正しいオブジェクト情報を回復できるかどうかを確認しました。 たとえば、「国の首都」の関数は、主題がノルウェーの場合はオスロを取得し、英国の場合はロンドンを取得する必要があります。

関数は 60% 以上の確率で正しい情報を取得しました。これは、トランスフォーマー内の一部の情報がこの方法でエンコードされ、取得されていることを示しています。

「しかし、すべてが線形にエンコードされているわけではありません。 一部のファクトについては、モデルがそれらを認識しており、これらのファクトと一致するテキストを予測する場合でも、それらの線形関数を見つけることができません。 これは、モデルがその情報を保存するためにより複雑な処理を行っていることを示唆しています」と彼は言います。

モデルの知識を視覚化する

彼らはまた、この関数を使用して、モデルがさまざまな主題について何が真実であると信じているかを判断しました。

ある実験では、「ビル・ブラッドリーは～だった」というプロンプトから開始し、「スポーツをする」と「出席した大学」の解読関数を使用して、ブラッドリー上院議員がプリンストン大学に通っていたバスケットボール選手であることをモデルが知っているかどうかを確認しました。

「モデルがテキストを生成するときにさまざまな情報に焦点を当てることを選択したとしても、モデルはすべての情報をエンコードしていることを示すことができます」とヘルナンデス氏は言います。

彼らはこのプローブ技術を使用して、「属性レンズ」と呼ばれるもの、つまり、特定の関係に関する特定の情報がトランスフォーマーの多くの層内のどこに保存されているかを視覚化するグリッドを作成しました。

属性レンズは自動的に生成され、研究者がモデルについてより深く理解できるように合理化された方法を提供します。 この視覚化ツールにより、科学者やエンジニアは保存された知識を修正し、AI チャットボットが誤った情報を与えるのを防ぐことができます。

将来的には、ヘルナンデス氏と彼の共同研究者らは、ファクトが線形に保存されない場合に何が起こるかをより深く理解したいと考えています。 彼らはまた、より大きなモデルで実験を実行し、線形デコード関数の精度を研究したいと考えています。

「これは、大規模な言語モデルが推論中に事実の知識をどのように呼び出すかについての私たちの理解に欠けている部分を明らかにする刺激的な研究です。 これまでの研究では、LLM が特定の主題の情報豊富な表現を構築し、そこから推論中に特定の属性が抽出されることが示されました。 この研究は、属性抽出のための LLM の複雑な非線形計算が、単純な線形関数でうまく近似できることを示しています」と、この研究には関与していないテルアビブ大学コンピュータ サイエンス学部助教授の Mor Geva Pipek 氏は述べています。仕事。

この研究は、Open Philanthropy、イスラエル科学財団、およびアズリエリ財団早期キャリア教員フェローシップによって一部支援されました。