人間の脳は目標と不確実性を分離して、適応的な意思決定を可能にします

人間は安定性と柔軟性の間の優れたバランスを備えており、突然の変化に直面した場合でも、新しい計画を迅速に確立し、目標を調整することができます。しかし、ロボット工学で広く使用されており、AlphaGo とイ・セドルの有名な対局で例証されている「モデルフリー強化学習」は、これら 2 つの機能を同時に達成するのに苦労しています。

KAISTの研究チームは、その秘密が前頭前野内の独特な情報処理方法にあることを発見した。この原理は、柔軟で安定した脳のようなAIを開発するための基礎となる可能性がある。

脳認知科学科のサン・ワン・リー教授率いる研究チームは、IBM AI Researchと協力して、人間の脳が不確実な状況で目標変更をどのように管理するかを解読し、次世代の強化学習の新たな方向性を示唆しました。

この研究では博士が注目しました。候補者 Yoondo Sung を筆頭著者、IBM AI Research の Mattia Rigotti 博士を第 2 著者とし、Sang Wan Lee 教授が責任著者を務めます。研究結果は、 出版された 日記で ネイチャーコミュニケーションズ。

研究チームは、現在の強化学習モデルの重大な限界を強調しました。それは、目標追求のための柔軟性と不確実な環境における安定性の間のバランスを失っているということです。しかし、人間は両方を同時に達成します。研究チームは、この違いは前頭前野が情報を表現する方法に起因すると仮説を立てた。

使用する 機能的MRI 研究チームは、（fMRI）実験、強化学習モデル、高度なAI分析の結果、人間の前頭前野には、干渉を防ぐために目標情報と不確実性情報を別々に表現する独自の埋め込み構造があることを明らかにした。これらのチャネルをより明確に分離している人は、環境の不確実性にもかかわらず安定した判断を維持しながら、目標が変化したときに戦略を適応させることができました。

研究チームは、このメカニズムを、複数の信号が干渉することなく同時に送信される通信技術の多重化に例えました。

このようにして、人間の前頭前野は次のように機能します。 2つのチャンネル1 つは目標の変更を敏感に追跡して意思決定の柔軟性を確保し、もう 1 つは環境の不確実性を隔離して安定した判断を維持します。

興味深い点は、 前頭前野 最初のチャネルによってガイドされる制御を単に実行するだけではありません。 2 番目のチャネルを使用して、状況に応じて使用する学習戦略を実際に選択します。

これは、脳のメタ学習能力を示しています。つまり、脳は何を学ぶかだけでなく、どの学習戦略を使用するかを選択することによって、どのように学ぶかについても学習します。これが、人間が常に変化する状況に対して回復力を維持できる理由です。

この研究の意義は、個人の強化とメタ学習能力の分析、個別化された教育設計、認知診断、ヒューマン・コンピューター・インタラクション（HCI）など、さまざまな分野に広がります。さらに、埋め込み 脳にヒントを得た表現構造 AI への導入は、脳のような思考をする AI につながる可能性があります。これにより、AI が人間の意図や価値観をよりよく理解できるようになり、危険な判断が減り、人間とのより安全な協力が可能になります。

主任研究者のサンワン・リー教授は、「この研究は、変化する目標への柔軟な追従から計画の安定的な確立まで、脳の基本的な動作原理をAIの観点から明らかにした。これらの原理は次世代AIの中核基盤として機能し、人間のように適応し、より安全かつインテリジェントに学習できるようになるだろう」と研究結果の重要性を強調した。