1712469414
2024-04-05 18:08:02
探検する
あrseny Moskvichev さんは、人工知能と有意義な会話ができる日を夢見ています。 「意味のあるというのは、あなたを変える力のある会話のことです」と、認知科学者およびコンピューター科学者は言います。 「問題は、LLMが完全な記憶喪失であることです」とモスクヴィチェフは言う。 彼らが注意できるコンテキストは限られています。 あなたがこの文脈から外れると、彼らはあなたが話したすべてを忘れてしまいます。」
最も高度なチャットボットでも、人間のユーザーと会話している場合、プロンプト内のテキストは約 16,000 ワードしか処理できません。 これを「コンテキストウィンドウ」と呼びます。 そして、人間とのさまざまな「会話」中に受け取った情報を結び付けたり、ストーリーラインを構築したりすることもできません。
チャットボットが人生を変える会話をする方法を学び、人間の生活を支配する人々、出来事、時間軸の間の関係の網目であるコンテキストの深く複雑な理解を助けるために、モスクヴィチェフと彼の同僚は小説を読むことをチャットボットに教えている。 、高校の文学の授業でそれらを読む方法を学ぶかもしれません。
小説を読むという行為はリラックスできる娯楽のように思えるかもしれませんが、微妙な知性が必要です。 私たちは記憶と複雑で重層的な理解を使用して、ねじれたプロット、シーンの変更、物語を通じて複数の登場人物を追跡します。 あまり意識していないかもしれませんが、平均的な小説は平均して約 80,000 語あります。 ドリアン・グレイの写真たとえば、オスカー ワイルド著は 82,000 ワードで実行されますが、 黒人民族の魂、 ウィー・デュボア著、 合計約72,000。 星の王子さま、アントワーヌ・ド・サン＝テグジュペリ作の児童書には、約 17,000 語が含まれています。 これらすべての言葉は、私たちが心の中で抱き、検討する物語を徐々に構築していきます。 しかし、そのようなスキルは、Open AI の ChatGPT のような大規模言語モデル (LLM) には現時点では届かず、テキストを処理できるとは言えません。 読む 私たちのやり方です。
問題は、LLM が完全な記憶喪失であることです。
モスクヴィチェフ氏は、カリフォルニア大学アーバイン校で複雑性を研究するカイビン・マイ氏と共同で、独立した非営利団体であるサンタフェ研究所のポスドクの一環として、LLMが長い文章を読んで分析できるように訓練する新しいデータベースを構築した。理論研究所。 両氏は、昨年末にシンガポールで開催された自然言語処理の経験的手法カンファレンスで、新しいツールである Narrative XL を発表しました。 「これは非常に長いコンテキストを含むデータセットです」とモスクヴィチェフ氏は言います。 トレーニング ツールとして、LLM が練習できる 100 万を超える質問が提供されており、「これまでにあったものをはるかに上回っています」。 これは「教師付き」データセットであり、AI が正確に得点することが期待される黄金律の回答が存在し、評価が可能になることを意味すると彼は言います。
Moskvichev と Mai は、Project Gutenberg を通じて一般公開されている 1,500 冊の書籍から Narrative XL を構築しました。 彼らは、AI にデータベース内の本を読ませ、次に選択肢のプールから正しいシーンの要約を見つけるように依頼することで、LLM の読解力をトレーニングします。 正確な要約もあれば、おとりのシーンが含まれていたり、他の本の登場人物が「破損」しているものもあります。たとえば、ドラキュラが月明かりに照らされている物語の主人公です。 プライドと偏見。
記憶力を訓練するために、モスクヴィチェフとマイは読み聞かせの質問を作成しました。AI は、本をさらに読み進めると、プロットをさらに詳しく知ることが期待されますが、それ以上のことは何も知りません。 たとえば、AI が途中までしか読んでいない場合、 プライドと偏見、ミス・ベネットがダーシー氏と結婚するかどうかについてはまだ「心配」しているはずです。 （ネタバレ注意。彼女はそうしますが、オースティンは結婚式をグランドフィナーレのために取っておきます！）記憶は時間の関数であり、出来事の順序が重要であるため、将来の出来事についての偶然の知識は、たとえ事実が正しい場合でも、誤った記憶としてカウントされます。 本の要約でこの二人が結婚していると言及した場合、コンテキスト ウィンドウに全文が表示されていない限り、AI によって虚偽と識別されるはずです。
NarrativeXL のトレーニングの一環として、LLM に、破損した本のシーンの間違いを特定して修正するよう依頼することもできます。 したがって、ドラキュラを排除する必要があるだけでなく、 プライドと偏見、トレーニング中の LLM は、彼を正しいキャラクターに置き換える必要があります。 これには、微妙な理解、つまりキャラクターが相互に関連してどのように機能するかを理解することが必要です。
Narrative XL の 1,500 冊の書籍と 100 万近くの質問は、既存の書籍トレーニング データベースのサイズを少なくとも 2 倍上回っています。 BookSum は 2021 年にリリースされた、AI をトレーニングするための書籍 405 冊を収録したトレーニング データベースです。 利用可能なすべてのトレーニング データベースの平均コンテキスト ウィンドウは 15,000 ワード未満のままです。 AI 向けのこのようなトレーニング ツールを開発する際の障害の 1 つは人材です。本を正確に要約するには、誰かがそれを読んでトレーニングの質問を設計する必要があります。 「このタイプの教師付きデータセットを収集するには、非常に費用がかかります」とモスクヴィチェフ氏は言う。 ここで二人は創意工夫を凝らしました。彼らは ChatGPT3.5 を使用して書籍の短いセクションを要約することで Narrative XL を構築しました。これは LLM が得意とするタスクです。 これは、より強力なマシンをトレーニングするために使用されるマシンの例です。
Moskvichev と Mai はトレーニング ツールとして NarrativeXL を使用することを検証し、トレーニング済みの LLM のパフォーマンスがトレーニングされていないものと比べて大幅に向上していることを観察しましたが、LLM は依然として約半分の確率で間違いを犯します。 「AI モデルは非常に難しいものです。 彼らは卑劣で、できる限り不正をします」とモスクヴィチェフは言う。
問題の核心は、チャットボットが回答への最短ルートを特定するように設計されており、すべてを読む必要があることはほとんどありません。 19 世紀のロマンスのヒロインがその男を手に入れるだろうと予測するのは決して突飛な推測ではなく、AI を窮地に陥れる近道です。 「まだ改善の余地があります」とモスクヴィチェフ氏は言う。 
リード画像: taudiristudio / Shutterstock
Nautilus ニュースレターを入手する
生きている最も聡明な思想家によって解明された最先端の科学。
#チャットボットは有意義な会話を行うことができるのでしょうか