Microsoft LASER で LLM の不正確さを解消

1706739339
2024-01-31 21:46:35

1月中 マイクロソフトリサーチフォーラムMicrosoft Research Lab NYC および AI Frontiers の上級研究員である Dipendra Misra 氏は、Layer-Selective Rank Reduction (LASER) がどのようにして大規模な言語モデルをより正確にすることができるかを説明しました。

LASER を使用すると、研究者が「介入」して、1 つの重み行列をほぼ小さい重み行列に置き換えることができます。 重みは、モデルが構築するコンテキスト上の接続です。 重量が重いほど、モデルはそれに依存します。 では、何かをより多くの相関とコンテキストに置き換えると、モデルの精度は低下するのでしょうか? 彼らのテスト結果によると、答えは驚くべきことに「ノー」です。

「LLM 上で LASER を使用して介入を行っているため、より多くの近似を行うにつれてモデルの損失が増加するはずであることが予想されます。つまり、LLM からの情報を捨てているため、モデルのパフォーマンスが悪くなることを意味します。 、それは大量のデータに基づいてトレーニングされています」とミスラ氏は言いました。 「しかし、驚いたことに、適切なタイプのレーザー介入が実行されると、モデル損失は増加せず、実際には減少することがわかりました。」

ミスラ氏は、彼のチームが RoBERTa、Llama 2、Eleuther の GPT-J という 3 つの異なるオープンソース モデルで LASER を使用することに成功したと述べました。 同氏は、モデルの改善が20～30パーセントポイント増加することもあったと述べた。 たとえば、伝記に基づく性別予測における GPT-J のパフォーマンスは、レーザー介入後に 70.9 パーセントの精度から 97.5 パーセントに向上しました。

#Microsoft #LASER #で #LLM #の不正確さを解消