生理学的に関連する周波数のドーパミン刺激 (20 Hz) は意味のある報酬として機能しませんが、高周波ドーパミン刺激 (50 Hz) は特定の感覚イベントとしてエンコードされた報酬として機能します。上部: A) TH-Cre ラットの両側の Cre 依存性 ChR2 発現、B) TH とウイルス発現の共局在が約 90% に近づいた、C) 最小および最大のウイルス発現と繊維配置の概略図による組織学的検証。左の列: 1 つのカウンターバランス例 (D) パブロフ条件付け、E) 道具的条件付け、および F) PIT テストで構成されるタスク設計を示す概略図。ラットは最初に 2 つの聴覚的手がかり (クリック音とホワイトノイズなど) が 2 つの結果 (ドーパミン刺激とペレットなど) につながることを学習し、次に 2 つの結果につながる 2 つのレバー押しを学習しました。最後に、ラットに 2 つの聴覚的手がかりが提示され、報酬フィードバックなしでどちらかのレバーを押す機会が与えられました。 中央の列: G) 20Hz グループのラット (n=6) は、ペレット対刺激中に食物ポートへの進入が増加したが、ドーパミン対刺激では増加しなかった。これらのラットは、両方の刺激に対する学習を通じて同等の運動活動の増加を示した。 H) ラットが 2 つの結果に対してレバーを押すことを学習する道具的条件付けの間、20Hz グループのラットはペレットに対して強力なレバー押し反応を示したが、ドーパミン刺激に対しては示さなかった。 I) 最後の PIT テストで、ペレット対の手がかりが提示されると、これらのラットはペレット対のレバーに対する反応の有意な上昇を示し、特異的 PIT を示した。しかし、ドーパミン対の手がかりに対しては PIT を示さなかった。 右の列: J) 50Hz グループのラット (n=5) は、ペレット対の刺激中に食物ポートへの進入が増加したが、ドーパミン対の刺激では増加しなかった。 学習中の運動活動の増加は、ドーパミン刺激とペレット刺激の両方で同様でした。K) 器具訓練中、50Hz グループはドーパミン刺激とペレット刺激の両方に対して強力なレバー押しを示しました。L) 最後の PIT テストでは、ドーパミン刺激とペレット刺激の両方が強力な特定の PIT を生み出しました。エラーバー =SEM。クレジット: Millard 他
神経伝達物質ドーパミンは、快楽を求める行動や、報酬（食べ物、飲み物など）と組み合わせた刺激の価値を高めることに関係していることが多いとされています。しかし、この重要な化学伝達物質が学習にどのように寄与するかというプロセスは、まだ完全には解明されていません。
カリフォルニア大学ロサンゼルス校、シドニー大学、ニュージャージー州立大学の研究者らは最近、 ドーパミンニューロン （つまり、ドーパミンの生成をサポートする脳細胞）は報酬ベースの学習をサポートする。彼らの研究結果は、 出版された Nature Neuroscience 誌に発表された論文によると、これらのニューロンは、さまざまな刺激に帰属する価値を表すのではなく、刺激と報酬（またはその他の中立的な刺激）の間の新しい精神的関連の形成に寄与し、環境の認知マップを形成するのに役立つことが示唆されています。
「最近の研究では、ドーパミンニューロンの発火が脳の教育信号として働くことがわかった」と論文の共著者メリッサ・シャープ氏はメディカル・エクスプレスに語った。「これは何か新しいことや目立つことが起こるたびに起こり、出来事を関連づけて新しい記憶を作ることを学ぶのに役立つ。重要なのは、ドーパミンニューロンが物事をそれ自体で「価値あるもの」や「良いもの」にすることなくこれを行っていることをわれわれは明らかにしたことだ。」
この研究は、ドーパミンを「幸福」や「喜び」を生み出す神経伝達物質と定義した過去の研究とは矛盾している。しかし、ドーパミン作動性ニューロンが価値信号を伝達しなければ、特定の経験や行動に肯定的または快い性質を帰属させることはできないはずである。
「ドーパミンニューロンが価値信号を運ばないのなら、ドーパミンニューロンが価値信号を運ぶことを示唆する頭蓋内自己刺激をどのようにサポートするのか、私たちは疑問に思っていました」とシャープ博士は説明した。「したがって、私たちの実験は、頭蓋内自己刺激の文脈でドーパミンニューロンが実際に価値を運ぶのであれば、それを可能にする認知表現は何なのかという疑問に答えることを目指していました。 [them] そうするために？”
この研究上の疑問に答えるために、シャープ博士と彼女の同僚はラットを使った一連の実験を行いました。これらの実験では、動物や人間の行動を駆り立てる認知表現を解明するために設計されたよく知られた実験テストである、パブロフの行動から道具的行動への転移手順を採用しました。
「私たちはラットに、合図（例えば、音やクリック音）が特定の結果（例えば、ドーパミン刺激や餌のペレット）につながることを教えます」とシャープ博士は言います。「そのため、音やクリック音が鳴ると、これらの結果の 1 つが発生します（例えば、音 —> ドーパミン刺激）。次に、2 つのレバーのうち 1 つを押すことでこれらの結果を得ることができることをラットに教えます。音によって、その音と対になっている「特定の」結果（例えば、ドーパミン刺激）を思い浮かべると、ラットはドーパミン刺激に関連するレバー（餌ではなく）を選択的に押すようになります。」
シャープ博士とその同僚が行った実験では、いくつかの興味深い発見がありました。まず、ドーパミン ニューロンの生理的な発火率は、ドーパミン ニューロンが価値信号を伝達することを示唆するような頭蓋内自己刺激をサポートしていないことが研究者によって発見されました。
しかし、ドーパミンニューロンをこの生理的速度以上に発火させると、これらのニューロンの発火は、動物が行動を示す感覚特異的な目標として機能する可能性があることを研究者らは観察しました。つまり、ドーパミンニューロンの高頻度の発火は、ラットをいわゆるパブロフから道具的転移効果に関連する快楽追求行動に従事させる報酬として機能する可能性があるということです。
「これは、ドーパミンニューロンが 日常生活「ドーパミンは物事を価値あるものにしているわけではありません」とシャープ博士は説明する。「その代わりに、ドーパミンは、私たちが新しい記憶を形成したり、環境内の物事がどのように関連しているかを理解するのを助ける働きをします。ドーパミンニューロンが想定以上に発火した場合（たとえば、乱用薬物を摂取した場合）、これは脳内で報酬イベントとしてコード化され、将来的に薬物を求める可能性が高くなる可能性があります。」
全体的に、シャープ博士と同僚によるこの最近の研究は、ドーパミンと報酬ベースの（強化）学習におけるその役割の理解に大きく貢献する可能性があります。特に、彼らの研究結果は、ドーパミンニューロンが環境の刺激に喜びや幸福を結び付ける価値信号を伝達しないことを示唆しています。将来的には、チームの研究結果のさらなる検証や、特定のドーパミン生成神経回路の独自の貢献の調査を目的とした追加実験への道を開く可能性があります。
「私たちのチームは現在、さまざまなドーパミン回路がさまざまなタイプの学習にどのように貢献しているか、そしてそれが環境の複雑だが統一された表現を作り出すのにどのように役立つかに興味を持っています」とシャープ博士は付け加えた。
詳しくは：
Samuel J. Millard他「中脳ドーパミンニューロンの頭蓋内自己刺激の認知表現は刺激頻度に依存する」Nature Neuroscience (2024)。 掲載日：10.1038/s41593-024-01643-1
© 2024 サイエンスXネットワーク
引用: 研究によりドーパミンの強化学習への貢献に関する新たな光が当てられる (2024 年 6 月 2 日) 2024 年 6 月 2 日に https://medicalxpress.com/news/2024-05-contribution-dopamine.html から取得
この文書は著作権の対象です。個人的な学習や研究を目的とした公正な取り扱いを除き、書面による許可なしに複製することはできません。コンテンツは情報提供のみを目的として提供されています。
1717335012
#研究は強化学習におけるドーパミンの貢献に新たな光を当てる
2024-06-02 13:10:02