OpenAIはAIが人間によるAIの訓練を支援することを望んでいる

重要な材料の一つは チャットGPT 大成功を収めたのは、 人工知能 ボットの背後にあるモデルは、良い出力と悪い出力を構成する要素についてガイダンスを提供します。 OpenAI 今 言う 人間のトレーナーを支援するためにさらに多くの AI を追加することで、AI ヘルパーをよりスマートで信頼性の高いものにできる可能性がある。

ChatGPT の開発において、OpenAI は人間によるフィードバックによる強化学習 (RLHF) の先駆者となりました。この技術は、人間のテスターからの入力を使用して AI モデルを微調整し、その出力がより一貫性があり、不快感が少なく、より正確であると判断されるようにします。トレーナーが与える評価は、モデルの動作を制御するアルゴリズムに反映されます。この技術は、チャットボットの信頼性と有用性を高め、不正行為を防止するために非常に重要であることが証明されています。

「RLHF は非常にうまく機能していますが、いくつか重要な制限があります」と、この新しい研究に携わっている OpenAI の研究者、ナット・マッカリースは述べています。まず、人間のフィードバックは一貫性がない場合があります。また、高度なソフトウェア コードなどの非常に複雑な出力を評価するのは、熟練した人間でも難しい場合があります。このプロセスでは、モデルを最適化して、実際には正確ではなく、説得力のある出力を生成することもできます。

OpenAI は、コード評価を担当する人間のトレーナーを支援するために、同社の最も強力な製品である GPT-4 を微調整した新しいモデルを開発した。同社は、CriticGPT と名付けられたこの新しいモデルは人間が見逃したバグを検出できること、そして人間の審査員は 63 パーセントの確率でこのモデルのコード批評の方が優れていると判断したことを発見した。OpenAI は将来、このアプローチをコード以外の分野に拡張することを検討している。

「この技術をRLHFチャットスタックに統合する作業を開始しています」とマッカリース氏は言う。同氏は、CriticGPTも幻覚によって間違いを犯す可能性があるため、このアプローチは不完全であると指摘するが、この技術は人間によるトレーニングのエラーを減らすことで、OpenAIのモデルやChatGPTなどのツールの精度を高めるのに役立つ可能性があると付け加えた。また、この技術は、人間が自分の能力を超えるAIのトレーニングを支援できるようになる可能性があるため、AIモデルをさらに賢くする上で非常に重要になる可能性があるとも付け加えた。「モデルがどんどん良くなるにつれて、人間がより多くの支援を必要とするようになると考えています」とマッカリース氏は言う。

この新しい技術は、大規模な言語モデルを改良し、より多くの能力を引き出すために現在開発されている多くの技術の 1 つです。また、AI がさらに能力を高めても許容範囲内で動作することを保証する取り組みの一環でもあります。

今月初め、OpenAIの元従業員によって設立されたOpenAIのライバルであるAnthropicが、 より高性能なバージョンを発表 モデルのトレーニング方法と入力データの改良により、Claudeと呼ばれる独自のチャットボットが誕生した。AnthropicとOpenAI 両方持っている 最近宣伝された 新しい検査方法 AI モデルは、欺瞞などの望ましくない行動をより効果的に防止するために、出力に到達する方法を理解します。

この新しい技術は、OpenAIがますます強力なAIモデルを訓練するのに役立つかもしれないが、その出力がより信頼性が高く、人間の価値観に沿ったものになることを保証する。特に、同社がコード以外の分野でこの技術をうまく展開できればなおさらだ。OpenAIは次期主要AIモデルを訓練中であると述べており、同社はその動作を保証することに真剣に取り組んでいることを示したいようだ。これは、 著名なチームの解散 AIがもたらす長期的なリスクを評価することに専念するチーム。このチームの共同リーダーは、同社の共同創業者で元取締役のイリヤ・スツケヴァー氏。同氏はCEOのサム・アルトマン氏を一時的に同社から追い出したが、その後撤回し、アルトマン氏が再び経営権を取り戻す手助けをした。このチームのメンバー数名はその後、 会社が危険な行動を取ったと批判した 強力な AI アルゴリズムの開発と商品化を急いでいるためです。

ディラン・ハドフィールド・メネルAIを調整する方法を研究しているMITの教授は、AIモデルを使ってより強力なモデルのトレーニングを行うというアイデアはしばらく前から議論されていたと語る。「これはかなり自然な展開だ」と同氏は言う。

ハドフィールド・メネル氏は、RLHFに使用された技術を最初に開発した研究者は、 議論した 数年前に関連のアイデアが発表されたが、それがどの程度一般的に適用可能で強力であるかはまだ分からないと彼は言う。「個人の能力の大きな飛躍につながる可能性があり、長期的にはより効果的なフィードバックへの足がかりになるかもしれない」と彼は言う。