ゲーム理論を通じて人間がAIと対戦する

多くの場合、AI は人間が作成または管理した素材でトレーニングされます。その結果、AI が人間やその人間が属する社会の偏見を再現しないようにすることは、大きな課題となります。そして、AI を医療や財務の決定に使用していることを考えると、そのリスクは大きいです。

しかし、セントルイスのワシントン大学の研究者たちは、これらの課題にさらなる難題があることを発見した。訓練を受けている人々は、それが AI の将来の選択に影響を与える可能性があることを知ったとき、潜在的に行動を変える可能性があるのだ。そして、少なくともいくつかのケースでは、彼らは変化した行動を AI 訓練が関係ない状況にも持ち込むのだ。

ゲームをしませんか？

この研究は、ボランティアに簡単なゲーム理論に参加してもらうというものでした。テスターは 2 人の参加者に 10 ドルのお金を与えました。次に、2 人のうちの 1 人がそのお金の一部をもう 1 人に提供するように求められ、もう 1 人はその申し出を受け入れるか拒否するかを選択できます。申し出が拒否された場合、誰もお金を受け取りません。

純粋に合理的な経済の観点から言えば、人々は提示されたものは何でも受け入れるべきです。なぜなら、そうでない場合よりも多くのお金が手に入るからです。しかし現実には、人々は50/50の分割から大きく外れた提案を拒否する傾向があります。それは、非常に不均衡な分割は不公平だという感覚があるからです。拒否することで、不公平な提案をした人を罰することができます。分割が不公平になる場所に関しては文化的な違いがありますが、この効果は今回の研究を含め、何度も再現されています。

ローレン・トレイマン、チェン・ジュ・ホー、ワウター・クールが行った新しい研究のひねりは、参加者の一部に、彼らのパートナーは AI であり、AI とのやり取りの結果がシステムにフィードバックされて、将来のパフォーマンスを訓練することになる、と伝えた点です。

これは、純粋にゲーム理論に焦点を当てた設定では暗黙的である、つまりオファーを拒否することでパートナーがどのようなオファーが公平であるかを判断するのに役立つという点を、非常に明示的にしたものです。参加者、または少なくとも AI をトレーニングしていると伝えられている実験グループの一部は、自分たちの行動が AI の将来のオファーに影響を与えることを容易に推測できます。

研究者たちが興味を持ったのは、これが人間の参加者の行動に影響を及ぼすかどうかでした。彼らはこれを、標準的なゲーム理論テストに参加した対照群の行動と比較しました。

トレーニングの公平性

トレイマン、ホー、クールは、データを使って実行しようと計画していた多変量解析をいくつか事前に登録していた。しかし、これらの解析は実験間で必ずしも一貫した結果を生み出すわけではなかった。おそらく、比較的微妙な効果を統計的に確実に引き出すには参加者が足りなかったため、また、比較的テストの数が多かったため、偶然にいくつかの肯定的な結果が出る可能性があったためだ。

そこで、取り上げられた最も単純な質問に焦点を当てます。AI をトレーニングしていると伝えられると、人の行動は変わりますか? この質問は、非常によく似たいくつかの実験を通じて尋ねられました。(それらの主な違いの 1 つは、AI トレーニングに関する情報がカメラ アイコンとともに表示されたかどうかです。観察されていることに気付いた場合、人は行動を変えることがあるためです。)

この質問に対する答えは、明らかに「イエス」です。AI をトレーニングしていると思うと、人々は実際に行動を変えます。いくつかの実験を通じて、参加者は、自分のセッションが AI のトレーニングに使用されると告げられた場合、不公平なオファーを拒否する可能性が高くなります。いくつかの実験では、公平と見なされるオファーを拒否する可能性も高くなります (米国の人口では、誰かが 70/30 の分割を提案すると拒否率が劇的に上昇します。つまり、これらの実験では、提案した人に 7 ドルが渡されます)。研究者は、これは、人々が 60/40 の分割など、境界線上の「公平」なオファーを拒否する可能性が高くなるためだと考えています。

これは、参加者がいかなる申し出も拒否すると経済的なコストがかかるにもかかわらず起こった。そして、トレーニングが完了した後は AI とやり取りすることはないと告げられても、つまり AI の行動の変化から個人的に利益を得ることはないと告げられても、人々はこの行動を続けた。つまり、ここでは、人々は経済的犠牲を払ってでも、他人の利益になるような方法で AI をトレーニングしようとしているようだ。

驚くべきことに、追跡テストを実施した 3 つの実験のうち 2 つでは、参加者は AI トレーニングに参加してから 2 日後も、自分の行動が AI のトレーニングに使用されなくなったと伝えられたにもかかわらず、より高い割合でオファーを拒否し続けました。つまり、ある程度、AI トレーニングに参加したことで、参加者は異なる行動をとるように訓練されたようです。

もちろん、これはあらゆる種類の AI トレーニングに影響を与えるわけではありません。また、大規模言語モデルなどのトレーニングに使用される素材の作成に費やされる作業の多くは、AI のトレーニングに使用される可能性があることをまったく意識せずに行われるものです。それでも、人間がトレーニングに直接関与するケースはたくさんあるため、これがバイアスが入り込む可能性がある別のルートであることを認識しておくことは価値があります。

PNAS、2024。DOI: 10.1073/pnas.2408731121 (DOI について)。