神経生物学的に大きな言語モデルの長期記憶に影響を与えました

[Submitted on 23 May 2024 (v1), last revised 14 Jan 2025 (this version, v3)] Hipporagというタイトルの論文のPDFを見る：Bernal Jim 'Enez Guti ' Errezと他の4人の著者による、大規模な言語モデルの神経生物学的にインスピレーションを受けた長期記憶 PDFを表示します HTML（実験） 抽象的な：敵対的で絶えず変化する自然環境で繁栄するために、哺乳類の脳は、世界に関する大量の知識を保存し、壊滅的な忘却を避けながら新しい情報を継続的に統合するために進化しました。印象的な成果にもかかわらず、大規模な言語モデル（LLM）は、検索された世代（RAG）であっても、トレーニング前の大量の新しい経験を効率的かつ効果的に統合するのに苦労しています。この作業では、新しい体験をより深くより効率的な知識統合を可能にするために、人間の長期記憶の海馬インデックス理論に触発された新しい検索フレームワークであるHipporagを紹介します。 Hipporagは、人間の記憶における新皮質と海馬のさまざまな役割を模倣するために、LLM、知識グラフ、およびパーソナライズされたPagerankアルゴリズムを相乗的に組織化します。 Hipporagをマルチホップの質問応答で既存のRAGメソッドと比較し、最大のメソッドを最大20％上回る方法を示しています。 Hipporagを使用したシングルステップ検索は、Ircotのような反復検索と同等または優れたパフォーマンスを達成し、10〜30倍安く、6〜13倍高速であり、HipporagをIrcotに統合すると、さらに大きな利益がもたらされます。最後に、私たちの方法は、既存の方法の範囲外の新しいタイプのシナリオに取り組むことができることを示します。コードとデータはで利用できます このHTTPS URL。 提出履歴 From：Bernal Jimenez Gutierrez [view email] [v1] Thu、2024年5月23日17:47:55 UTC（2,512 kb）…