科学＆テクノロジー

AIのベンチマークに外交戦略ゲーム…クロードは「勝利よりも平和」を優先する | Business Insider Japan

Mykhale Repuzhynskyi/Getty Imagesデミス・ハサビス、アンドレイ・カルパシー、イーロン・マスクらは、AIのテストにボードゲーム「ディプロマシー」を使うアイデアについて議論した。この提案を受けて、あるAI研究者が実際に「AIディプロマシー」という新しいゲームを開発した。その結果、OpenAIのo3は卓越した性能を見せた一方で、アンスロピックのクロードはやや「いい人すぎる」傾向があることが分かった。2025年初頭、AI開発をリードする研究者たちがXでチャットをしていた際、大規模言語モデル（LLM）の能力をどう比較すべきかという議論になった。OpenAIの共同創業者のひとりで、2024年に同社を離れたアンドレイ・カルパシー（Andrej Karpathy）は「ゲームを使う」というアイデアを提案した。AI研究者たちはゲームが大好きだ。「LLM同士の性能比較に、形式的なベンチマークではなく、ゲームを使うというのは、なかなかいいアイデアだと思う」とカルパシーは述べている。というのも、従来のベンチマーク評価は退屈なものと見なされているからだ。ChatGPTやGeminiなどを性格テストで分析…AIチャットボットは必ずしも中立ではない | Business Insider JapanOpenAIのリサーチサイエンティストであるノーム・ブラウン（Noam Brown）は、75年前に登場した地政学的戦略を競うボードゲーム「ディプロマシー（Diplomacy）」に言及し、「メジャーなボットたちが揃ってディプロマシーをプレイするところをぜひ見てみたい」と述べた。これに対してカルパシーは「よいと思う。このゲームの複雑さは、ルールやゲームシミュレーターではなく、プレイヤー同士の駆け引きにこそあるのだから」と応じた。OpenAIの共同創業者として知られるイーロン・マスク（Elon Musk）はその頃、DOGE（政府効率化省）で忙しかったのか、「そうだな（Yeah）」と短く反応するにとどまった。一方、DeepMindのデミス・ハサビス（Demis Hassabis）は、ノーベル賞受賞の高揚感に乗っていたのか、「クールなアイデアだ！」と熱を込めて応じた。そして、このやり取りに触発されたAI研究者アレックス・ダフィー（Alex Duffy）が、そのアイデアを実際に形にした。AIコンサルティング企業EveryでAIトレーニングを主導するダフィーは6月5日、「最先端AIモデルをディプロマシーで対決させてみた。勝ったのはどれか」と題する記事を同社のメディアで公開した。ディプロマシーとは、1901年のヨーロッパを舞台にした戦略ボードゲームであり、第一次世界大戦前夜の列強間の緊張感が漂う情勢を背景としている。ゲームの参加者は同盟を築き、交渉を行い、情報を交換しながら駆け引きを繰り広げ、地図上の支配圏拡大を目指す。「これは、権力そのものの純粋な形に夢を抱き、それをいかに効果的に行使するかを思い描く者たちのためのゲームだ」と、ジャーナリストのデイヴィッド・クライオン（David Klion）は『Foreign Policy』に掲載した記事に記している。「ディプロマシーは、他人を操ることに抵抗のない者が集まって行うゲームであり、プレイすると友情が壊れることで知られている」ダフィーは、これを改変した独自バージョン「AIディプロマシー」を構築した。このバージョンでは、18の主要なモデルが1回あたり7モデルずつ、「ヨーロッパを支配する」ことを目指して対戦する。ダフィーはその結果をオープンソースとして公開し、AIたちの対戦をリアルタイムで観戦できるTwitchのライブ配信も行っている。この対戦の結果、LLMは全て同じではないことをダフィーは発見した。あるモデルは策略を巡らせ、あるモデルは和平を模索し、また別のモデルは芝居がかった振る舞いを見せた。「このような終わりの見えない頭脳戦の場に置かれると、これらのモデルは協力し、口論し、脅し合い、時にはあからさまに嘘をつき合うことさえあった」とダフィーは記している。 #AIのベンチマークに外交戦略ゲームクロードは勝利よりも平和を優先する #Business #Insider #Japan