大規模言語モデルの新たな能力は蜃気楼

オリジナルバージョン の この話 に登場 クアンタマガジン。

2年前、 イミテーション ゲームのベンチマークを超えて、または BIG ベンチでは、450 人の研究者が、次の機能をテストするために設計された 204 のタスクのリストを作成しました。 大規模な言語モデル、ChatGPT のようなチャットボットを強化します。 ほとんどのタスクでは、モデルがスケールアップするにつれて、パフォーマンスが予測どおりかつスムーズに向上しました。モデルが大きくなるほど、パフォーマンスは向上しました。 しかし、他のタスクでは、能力の向上はスムーズではありませんでした。 パフォーマンスはしばらくゼロ近くにとどまりましたが、その後パフォーマンスが急上昇しました。 他の研究でも同様の能力の飛躍が見られました。

著者らはこれを「画期的な」行動と表現しました。 他の研究者は、液体の水が凍って氷になるときのような、物理学における相転移に例えています。 で 紙 2022 年 8 月に発表された論文では、研究者らは、これらの行動は驚くべきものであるだけでなく、予測不可能であり、AI をめぐる進化する会話に情報を提供する必要があると指摘しました。 安全性、可能性、リスク。 彼らはその能力を「緊急のこれは、システムが高いレベルの複雑さに達した場合にのみ現れる集団的な動作を表す言葉です。

しかし、物事はそれほど単純ではないかもしれません。 新しい紙 スタンフォード大学の3人の研究者らは、これらの能力の突然の出現は、研究者がLLMのパフォーマンスを測定する方法の結果にすぎないと主張しています。 彼らの主張によれば、その能力は予測不可能でも突然でもありません。 「この移行は人々が信じているよりもはるかに予測可能です」と彼は言いました サンミ・コヨ、スタンフォード大学のコンピューター科学者であり、この論文の上級著者です。 「創発の強い主張は、モデルが行っていることと同じくらい、私たちが選択した測定方法にも関係しています。」

これらのモデルが非常に大きくなったため、私たちは現在この動作を確認し、研究しているところです。 大規模な言語モデルは、膨大な量の分析によってトレーニングされます。 テキストのデータセット—書籍、Web 検索、Wikipedia などのオンライン ソースからの単語—および、一緒に表示されることが多い単語間のリンクを見つけます。 サイズはパラメータの観点から測定され、単語の接続方法とほぼ同様です。 パラメータが多いほど、LLM が検出できる接続も多くなります。 GPT-2 には 15 億のパラメーターがありましたが、ChatGPT を強化する LLM である GPT-3.5 は 3,500 億を使用します。 2023 年 3 月にデビューし、現在基礎となっている GPT-4 マイクロソフトのコパイロット、報道によると1兆7500億を使用しています。

この急速な成長により、パフォーマンスと効率性は驚くほど向上しており、十分な規模の LLM が、トレーニングを受けていないタスクも含め、小規模なモデルでは実行できないタスクを完了できることに異論を唱える人はいません。 スタンフォード大学の 3 人は、創発を「蜃気楼」と見立て、LLM は規模が拡大するにつれてより効果的になることを認識しています。 実際には、 追加された複雑さ より大きなモデルを使用することで、より困難で多様な問題をより良く解決できるようになります。 しかし彼らは、この改善がスムーズで予測可能に見えるか、ギザギザでシャープに見えるかは、モデルの内部動作ではなく、メトリクスの選択、あるいはテスト例の不足に起因すると主張しています。