[2406.03689] 生成モデルに暗黙的に含まれる世界モデルの評価

[Submitted on 6 Jun 2024 (v1), last revised 22 Jun 2024 (this version, v2)] Keyon Vafa と他の 4 人の著者による「生成モデルに暗示される世界モデルの評価」というタイトルの論文の PDF を表示します。 PDFを見る HTML (実験的) 抽象的な：最近の研究では、大規模な言語モデルが世界モデルを暗黙的に学習する可能性があることが示唆されています。この可能性をどのように評価すべきでしょうか?この質問を、根底にある現実が決定論的な有限オートマトンによって支配されている場合について形式化します。これには、単純な論理的推論、地理的ナビゲーション、ゲームプレイ、化学など、さまざまな問題が含まれます。言語理論の古典的な Myhill-Nerode 定理に触発された、ワールド モデル回復のための新しい評価指標を提案します。ゲームプレイ、ロジックパズル、ナビゲーションという 3 つの領域での有用性を説明します。すべての領域において、私たちが検討している生成モデルは、世界モデルを評価するための既存の診断では良好に機能しますが、私たちの評価指標では、その世界モデルが見た目よりもはるかに一貫性が低いことが明らかになりました。このような一貫性のなさは脆弱性を生み出します。関連しているが微妙に異なるタスクを解決するために生成モデルを使用すると、ひどい失敗につながる可能性があります。モデル化するドメインの基礎となるロジックを有意義に捉える生成モデルを構築することは、非常に価値のあることです。私たちの結果は、特定のモデルがその目標にどれだけ近づいているかを評価する新しい方法を示唆しています。 投稿履歴 From: キーヨン・ヴァファ [view email] [v1] 2024 年…