1710024288
2024-03-08 20:50:05
探検する
T数年前、Beyond the Imitation Game ベンチマーク (BIG ベンチ) と呼ばれるプロジェクトで、450 人の研究者が、ChatGPT のようなチャットボットを強化する大規模な言語モデルの機能をテストするために設計された 204 のタスクのリストを作成しました。 ほとんどのタスクでは、モデルがスケールアップするにつれて、パフォーマンスが予測どおりかつスムーズに向上しました。モデルが大きくなるほど、パフォーマンスは向上しました。 しかし、他のタスクでは、能力の向上はスムーズではありませんでした。 パフォーマンスはしばらくゼロ近くにとどまりましたが、その後パフォーマンスが急上昇しました。 他の研究でも同様の能力の飛躍が見られました。
著者らはこれを「画期的な」行動と表現しました。 他の研究者は、液体の水が凍って氷になるときのような、物理学における相転移に例えています。 2022年8月に発表された論文の中で研究者らは、これらの動作は驚くべきものであるだけでなく予測不可能であり、AIの安全性、可能性、リスクをめぐる進化する議論に情報を提供する必要があると指摘した。 彼らはこの能力を「創発的」と呼びました。これは、システムが高度な複雑さのレベルに達した場合にのみ現れる集団的な動作を表す言葉です。
しかし、物事はそれほど単純ではないかもしれません。 スタンフォード大学の研究者3人による新しい論文は、これらの能力の突然の出現は、研究者がLLMのパフォーマンスを測定する方法の結果にすぎないと主張しています。 彼らの主張によれば、その能力は予測不可能でも突然でもありません。 「この移行は人々が信じているよりもはるかに予測可能です」とスタンフォード大学のコンピュータ科学者で論文の主著者であるサンミ・コエジョ氏は言う。 「創発の強い主張は、モデルが行っていることと同じくらい、私たちが選択した測定方法にも関係しています。」
これらのモデルが非常に大きくなったため、私たちは現在この動作を確認し、研究しているところです。 大規模な言語モデルは、テキスト (書籍、Web 検索、Wikipedia などのオンライン ソースからの単語) の膨大なデータセットを分析し、一緒に出現することが多い単語間のリンクを見つけることによってトレーニングします。 サイズはパラメータの観点から測定され、単語の接続方法とほぼ同様です。 パラメータが多いほど、LLM が検出できる接続も多くなります。 GPT-2 には 15 億のパラメーターがありましたが、ChatGPT を強化する LLM である GPT-3.5 は 3,500 億を使用します。 2023 年 3 月にデビューし、現在 Microsoft Copilot の基盤となっている GPT-4 は、1 兆 7,500 億を使用していると報告されています。
この急速な成長により、パフォーマンスと効率性は驚くほど向上しており、十分な規模の LLM が、トレーニングされていないタスクも含め、小規模なモデルでは実行できないタスクを完了できることに異論を唱える人はいません。 スタンフォード大学の 3 人は、新興を「蜃気楼」と見なし、LLM は規模が拡大するにつれてより効果的になることを認識しています。 実際、モデルが大規模になると複雑さが増すため、より困難で多様な問題をより良く処理できるようになるはずです。 しかし彼らは、この改善がスムーズで予測可能に見えるか、それともギザギザでシャープに見えるかは、モデルの内部動作ではなく、メトリクスの選択、あるいはテスト例の不足に起因すると主張しています。
3 桁の加算がその例です。 2022年のBIGベンチ研究では、パラメーターが少ないため、GPT-3とLAMDAという名前の別のLLMの両方が加算問題を正確に完了できなかったと研究者が報告しました。 しかし、GPT-3が130億個のパラメータを使って訓練すると、まるでスイッチが入ったかのように能力が変化した。 突然、それが追加される可能性があり、LAMDA も 680 億のパラメータを追加する可能性があります。 これは、追加する能力が特定のしきい値で現れることを示唆しています。
しかし、スタンフォード大学の研究者らは、LLM は精度だけで評価され、完璧に実行できるか、できないかのどちらかであると指摘しています。 したがって、LLM がほとんどの桁を正しく予測したとしても、失敗します。 それは正しくないようでした。 100 プラス 278 を計算する場合、376 は、たとえば -9.34 よりもはるかに正確な答えのように思えます。
そこで代わりに、Koyejo 氏と彼の共同研究者は、部分的な評価を与える指標を使用して同じタスクをテストしました。 「最初の桁をどの程度正確に予測できるのか、ということが考えられます。 じゃあ二番目は？ じゃあ３人目は？」 彼は言った。
コエジョ氏は、この新しい研究のアイデアは大学院生のライラン・シェイファー氏の功績だと考えており、彼はLLMのパフォーマンスがその能力の測定方法によって変化するようだと気づいたと述べた。 スタンフォード大学のもう一人の大学院生、ブランド・ミランダ氏とともに、彼らはパラメータが増加するにつれてLLMが加算問題における数字の配列をますます正確に予測することを示す新しい指標を選択した。 これは、足し算の能力が突然現れるものではなく、突然予測不可能に変化するものではなく、徐々に予測可能であることを示唆しています。 彼らは、別の物差しを使うと羽化が消えることに気づきました。
しかし、他の科学者は、この研究は創発の概念を完全に払拭するものではないと指摘する。 たとえば、ノースイースタン大学のコンピューター科学者、ティアンシー・リー氏によると、3人の論文では、いつ、どの指標がLLMの急激な改善を示すかを予測する方法が説明されていないという。 「その意味では、これらの能力はまだ予測不可能です」と彼女は言いました。 創発能力のリストをまとめ、BIGベンチ論文の著者でもある現在OpenAIのコンピューター科学者であるジェイソン・ウェイなどの他の研究者は、算術のような能力については正しい能力であるため、創発に関する初期の報告は健全だったと主張している。本当に重要なのは答えだけです。
AI スタートアップ企業 Anthropic の研究科学者、Alex Tamkin 氏は次のように述べています。 新しい論文では、複数段階のタスクを巧みに分解して、個々のコンポーネントの貢献を認識している、と同氏は述べた。 「しかし、これがすべてではありません。 これらのジャンプのすべてが蜃気楼であるとは言えません。 ワンステップ予測を行ったり、連続メトリクスを使用したりした場合でも、依然として不連続性があり、モデルのサイズが大きくなるにつれて、ジャンプのような形で改善されていくことが文献で示されていると私は今でも思っています。」
そして、たとえ今日の LLM の出現がさまざまな測定ツールによって説明できたとしても、将来のより大規模で複雑な LLM には当てはまらない可能性があります。 「LLM を次のレベルに成長させると、必然的に、LLM は他のタスクや他のモデルから知識を借用することになります」とライス大学のコンピューター科学者、Xia “Ben” Hu 氏は述べています。
創発に関するこの進化する考察は、研究者が検討すべき単なる抽象的な問題ではありません。 Tamkin にとって、これは LLM がどのように行動するかを予測するための継続的な取り組みを直接物語っています。 「これらのテクノロジーは非常に幅広く、応用可能です」と彼は言いました。 「コミュニティがこれを出発点として利用し、これらのことを予測する科学を構築することがいかに重要であるかを継続的に強調してくれることを願っています。 次世代モデルに驚かれないようにするにはどうすればよいでしょうか?」
この記事は元々、 量子の抽象化 ブログ。
リード画像: クリスティーナ・アーミテージ/Quanta Magazine
Nautilus ニュースレターを入手する
生きている最も聡明な思想家によって解明された最先端の科学。
#大規模な言語モデルは予期せぬスキルをどれくらい早く学習するのでしょうか