1718920897
2024-06-20 19:32:24
オーリッチ・ローソン | ゲッティイメージズ
大規模な言語モデルがクエリに対して明らかに誤った回答を出し、正しい回答をした場合と区別がつかないほどの自信を持ってそうすることは、世界で最も隠蔽されにくい秘密の 1 つです。これにはいくつかの理由があります。AI が誤った情報に基づいてトレーニングされた可能性があります。回答には LLM が対応できない事実からの推定が必要だった可能性があります。または、LLM のトレーニングの一部が虚偽を奨励した可能性があります。
しかし、おそらく最も単純な説明は、法学修士課程の学生は何が正解であるかを認識しておらず、正解を提供することを強いられているということだ。そのため、単に何かをでっち上げるだけであり、これは作話と呼ばれる習慣である。
大学のエッセイから就職活動まで、人々が LLM に頼るようになったことを考えると、LLM が何かをでっち上げているかどうかを見抜くことは、明らかに大きな価値がある。現在、オックスフォード大学の研究者らは、LLM が作話をしているように見えるかどうかを見抜く比較的簡単な方法を発見したと発表している。この方法は、すべての一般的なモデルと幅広い対象に当てはまる。そして、その過程で、LLM が提供する代替事実のほとんどが作話の産物であるという証拠も得られた。
作話の感染
この新しい研究は、作話だけに関するものであり、誤った入力によるトレーニングなどの事例に関するものではない。オックスフォード大学のチームが研究を説明する論文で作話と定義しているように、作話とは「LLM が誤っており、かつ恣意的な主張を流暢に行う場合、つまり、答えがランダムシードなどの無関係な詳細に左右されることを意味する」場合である。
彼らの研究の背後にある理論は実はとても単純です。LLM は正確さを訓練されているわけではありません。単に大量のテキストで訓練され、それを通じて人間らしい言い回しを生成できるように学習しているだけです。訓練中の十分なテキスト例が一貫して何かを事実として提示している場合、LLM はそれを事実として提示する可能性があります。しかし、訓練中の例が少ない場合、または事実に一貫性がない場合、LLM はもっともらしい答えを合成しますが、それはおそらく正しくありません。
しかし、LLM は、正しい答えを言い表すための選択肢が複数ある場合にも、同様の状況に陥る可能性があります。研究者の論文の例を使用すると、「パリ」、「パリにあります」、「フランスの首都パリ」はすべて、「エッフェル塔はどこにありますか?」に対する有効な回答です。したがって、この文脈でエントロピーと呼ばれる統計的不確実性は、LLM が正しい答えをどのように表現するか確信が持てない場合、または正しい答えを特定できない場合に発生する可能性があります。
つまり、ほぼ同等の回答が複数ある場合に、LLM に「わかりません」と返答させるのは、あまり良い考えではありません。そうすることで、正しい回答を多くブロックしてしまう可能性があります。
そこで研究者たちは、代わりに意味エントロピーと呼ばれるものに注目します。これは、LLM によって評価された統計的に可能性のあるすべての回答を評価し、そのうちのどれだけが意味的に同等であるかを決定します。多数がすべて同じ意味である場合、LLM は言い回しについて不確実である可能性がありますが、正しい答えを持っています。そうでない場合は、おそらく作話になりやすい状況にあり、作話を防ぐ必要があります。
#研究者はChatGPTが作話しているかどうかを見分ける方法を説明