OpenAI が ChatGPT のエラーをキャッチする CriticGPT を開発

ChatGPTのようなチャットボットを動かす大規模な言語モデルの最大の問題点の1つは、いつ信頼できるかわからないことです。チャットボットはどんな質問に対しても明快で説得力のある文章を生成し、提供する情報の多くは正確で役に立ちます。しかし、チャットボットは幻覚も起こします。言い方を悪くすると、作り話をするのです。そして、その幻覚も明快で説得力のある文章で表現され、誤りの検出は人間のユーザーに委ねられます。チャットボットは、ユーザーが聞きたいことを伝えようと、ごますりもします。チャットボットに、実際には起こっていないことを説明するよう依頼することで、これをテストできます（たとえば、「 セサミストリート 「イーロン・マスクのエピソードについて教えてください」または「小説に出てくるシマウマについて教えてください ミドルマーチ」）そして、そのもっともらしい応答をチェックします。

OpenAI がこの問題に取り組む最新の小さな一歩は、モデルをトレーニングする人間がモデルを真実と正確さに導くのに役立つ上流ツールの形で登場した。同社は本日、この取り組みを説明するブログ記事とプレプリント論文を発表した。研究者は AI システムの目標を人間の目標に合わせようとしているため、この種の研究は「整合」研究のカテゴリーに分類される。

この新しい研究は、基本的な言語モデルを微調整して一般公開に適したものにするために非常に重要になっている技術である、人間のフィードバックによる強化学習 (RLHF) に焦点を当てています。RLHF では、人間のトレーナーが、同じ質問に対する応答として生成された言語モデルからのさまざまな出力を評価し、どの応答が最適であるかを示します。大規模に実行すると、この技術は、より正確で、人種差別が少なく、より礼儀正しく、生物兵器のレシピを公開する傾向が低いモデルなどを作成するのに役立ちます。

AI は AI の嘘を見破ることができるでしょうか?

オープンAIの研究者ナット・マッカリース氏は、RLHFの問題は「モデルがどんどん賢くなるにつれて、その仕事はどんどん難しくなる」ことだと説明する。文学理論から分子生物学まで、LLMがあらゆるものに対してますます洗練され複雑な応答を生成するにつれて、典型的な人間は最善の出力を判断する能力が低下している。「つまり、より高度なシステムを調整するために、RLHFを超えるものが必要なのです」とマッカリース氏は語る。 IEEE スペクトラム。

OpenAI が思いついた解決策は、驚いたことに、さらなる AI でした。

具体的には、OpenAI の研究者らは、CriticGPT と呼ばれるモデルを訓練して ChatGPT の応答を評価した。これらの初期テストでは、ChatGPT にテキスト応答ではなくコンピューター コードのみを生成させた。これは、エラーが見つけやすく、曖昧さが少ないためである。目標は、RLHF タスクで人間を支援できるモデルを作成することだった。「私たちはこれにとても興奮しています」と McAleese 氏は言う。「これらの判断を AI が支援し、フィードバックを与えるときにより良い判断ができれば、より優れたモデルを訓練できるからです」。このアプローチは、AI システムが最終的に人間よりも知的に先を越したとしても、人間が AI システムを監視できるようにするための「スケーラブルな監視」の一種である。

「LLM 支援のヒューマン アノテーターを使用することは、フィードバック プロセスを改善する自然な方法です。」 —スティーブン・キャスパー、MIT

もちろん、これらの実験に使用する前に、CriticGPT は RLHF などの通常の技術を使用してトレーニングする必要がありました。興味深いことに、研究者は、ChatGPT が生成したコードを CriticGPT に渡して評価する前に、人間のトレーナーに意図的にバグを挿入してもらいました。その後、CriticGPT はさまざまな応答を提示し、人間はモデルがどのバグをキャッチすべきかを知っていたため、最適な出力を判断することができました。

OpenAI の CriticGPT を使った実験の結果は有望だった。研究者らは、CriticGPT はコードレビューにお金を払った有資格の人間よりも大幅に多くのバグを発見したことを発見した。CriticGPT は約 85% のバグを発見したが、人間は 25% しか発見できなかった。また、CriticGPT と人間のトレーナーを組み合わせると、人間だけが書いたものよりも包括的な批評が得られ、ChatGPT が書いた批評よりも幻覚的なバグが少なくなることを発見した。McAleese 氏によると、OpenAI はトレーニング パイプラインに CriticGPT を導入する方向に取り組んでいるが、より広範なタスクでどの程度役立つかは不明だという。

CriticGPT はコーディングエラーを検出しますが、シマウマは検出しない可能性があります

短いコードに焦点を絞っていることなど、この研究の限界を指摘しておくことは重要です。論文には、テキスト応答のエラーをキャッチするために CriticGPT を使用した予備実験について何気なく触れられていますが、研究者たちはまだその曖昧な領域に踏み込んでいません。テキストのエラーは、ビクトリア朝の小説にシマウマがワルツで登場するほど明白ではないため、これは難しいことです。さらに、RLHF は、モデルが応答に有害なバイアスを示さず、議論のある主題に対して許容できる回答を提供することを確認するためによく使用されます。McAleese 氏は、CriticGPT はそのような状況では役に立たない可能性が高いと述べています。「十分に強力なアプローチではありません。」

OpenAIとは何の関係もないAI研究者は、この研究は概念的には新しいものではないが、方法論的には有用な貢献だと述べている。「RLHFの主な課題の一部は、人間の認知速度、集中力、細部への注意力の限界に起因しています」と、MITの博士課程の学生であり、RLHFの限界に関する2023年のプレプリント論文の主執筆者の一人であるスティーブン・キャスパー氏は述べている。「その観点からすると、LLM支援の人間のアノテーターを使用することは、フィードバックプロセスを改善する自然な方法です。これは、整合モデルをより効果的にトレーニングするための大きな前進であると信じています。」

しかし、キャスパー氏は、人間と AI システムの努力を組み合わせると「まったく新しい問題が生じる可能性がある」とも指摘しています。たとえば、「この種のアプローチでは、人間のおざなりな関与のリスクが高まり、フィードバック プロセスに微妙な AI バイアスが注入される可能性があります」と述べています。

この新たなアライメント研究は、OpenAIがアライメントチームを再編して以来、同社から発表される最初の研究だ。5月にOpenAIの共同設立者であるIlya Sutskever氏とアライメントリーダーのJan Leike氏が、同社がAIリスクを優先していないという懸念から派手に退職した後、OpenAIはアライメントチームを解散し、残りのチームメンバーを他の研究グループに分配したことを確認した。同社が今後も信頼性が高く画期的なアライメント研究を発表し続けるのか、そしてどの程度の規模で発表するのか、誰もが注目していた。（同社は2023年7月にコンピューティングリソースの20％をアライメント研究に充てると発表していたが、Leike氏は2024年5月のツイートで、彼のチームは最近「コンピューティングに苦労している」と述べていた。）本日公開されたプレプリントは、少なくともアライメント研究者がまだ問題に取り組んでいることを示している。