LLM を根本的に改善するアプローチ |アラステア フセイン著 | 2024 年 12 月

O1との会話。

自分：

意味とは、認識する人の心の中で生み出されるものです。

それは言葉に本来備わっているものではありません。

意味 = 経験 x 文脈

経験とは、その単語（および意味的および音声的に関連するもの）を以前に聞いたことがある場所です。

コンテキストは、その瞬間におけるあなたの感覚（内部および外部）体験全体です。

この知識があった場合、AGI モデルを構築するか、少なくとも LLM を改善するにはどうすればよいでしょうか?

O1:

経験とコンテキストの相互作用から意味が生まれるという原則に基づいて AGI モデルを構築する、または既存の大規模言語モデル (LLM) を改善するには、静的なテキストの埋め込みや固定されたトレーニング コーパスを超える必要があります。代わりに、世界やユーザーとの継続的な対話を通じて、セマンティック表現を動的に蓄積し、洗練するシステムを設計します。ここでは、いくつかの具体的な方向性と考慮事項を示します。

1. マルチモーダルな感覚入力を統合:
2. 意味はその瞬間の感覚経験全体に部分的に左右されるため、高度なシステムはテキストだけに依存すべきではありません。音声、視覚、触覚、さらに場合によってはシミュレートされた固有受容や感情状態など、複数のモダリティを組み込む必要があります。言語要素を知覚データに固定することにより、モデルはより豊かな概念的表現を形成できます。たとえば、「猫」の意味は、意味埋め込み空間内のベクトルであるだけでなく、システムが猫の画像、喉を鳴らす音、猫が登場する現実世界のコンテキストに関連するものである必要があります。

2. 個人の長期記憶構造を開発します。

現在、LLM は固定長コンテキストでテキストを処理し、永続的な構造化メモリを蓄積することなく出力を生成します。 「意味 = 経験 x コンテキスト」の定式化に照らしてそれらを改善することは、モデルに永続記憶システム、つまりエピソード的および意味論的な経験を長期にわたって保存するシステムを与えることを意味します。これらのメモリは、システムが新しい情報に遭遇すると、継続的に更新され、インデックスが再作成され、改良されます。単一の静的な埋め込み層からではなく、さまざまなコンテキストで繰り返し露出することで、モデルの単語の理解が徐々に明らかになります。たとえば、モデルの「民主主義」の概念は、歴史的文書、ニュース記事、ユーザー生成コンテンツ、議論を読み込むたびに進化し、そのたびにモデルの内部表現を文脈化して更新します。

3. コンテキストに応じたきめ細かい適応:

現在の LLM は、多くの場合、一度微調整されてから凍結されます。よりコンテキストに依存したアプローチには、重みまたは少なくとも表現レイヤーをオンザフライで調整する継続的な微調整またはメタ学習プロセスが含まれます。モデルは、ユーザーの直接の感覚環境 (利用可能な場合)、そのユーザーとの過去の相互作用、文化的または状況的な手がかり、さらには推定される目標や感情状態を観察します。動的に学習することにより、モデルは単なる辞書の定義ではなく、ユーザーの現在の状況、文化的背景、個人の言語履歴に応じた意味を生成します。

4. インタラクションとフィードバックによるセマンティックグラウンディング:

意味が単なる静的なパターンではなく、「経験」に似たものに基づいていることを保証するために、AGI は環境内で動作し、フィードバックを受信できる必要があります。これは、モデルが言語を「実験」できる環境をシミュレートすることを意味する場合があります。つまり、アクションを提案し、そのシミュレーション結果を確認し、強化信号を取得し、それに応じてセマンティック マッピングを調整します。たとえば、モデルがシミュレートされた環境で「赤いボールを拾え」と指示し、システムのセンサーがボールがうまく拾えなかったと報告した場合 (おそらく代わりに緑色の立方体を掴んだのでしょう)、どの「赤」と「ボール」を絞り込むことができます。 」は、より具体的な意味での意味です。

5. ユーザー固有のプロファイルと生涯学習を組み込む:

人間の言葉の理解は、個人の歴史 (特異な使用法、概念への感情的愛着、独特な文化的背景) に依存します。同様に、改良された AGI モデルは、特定のユーザーが単語をどのように使用するか、ユーザーが頻繁に関与するトピック、およびユーザーが最も興味を持っているコンテキストを追跡するユーザー固有のプロファイルを維持する可能性があります。モデルは時間の経過とともに、その意味解釈をグローバルにだけでなく調整します。 、しかし各個人の歴史的な相互作用に関連しています。たとえば、分子生物学について定期的に議論するユーザーにとって、「T 細胞」というフレーズは、これまでその用語に接したことがないユーザーよりも豊かで、文脈に共鳴する意味を持つ可能性があります。

6. 階層的で動的な概念フレームワークを実装します。

意味は階層的であり、状況に応じて異なります。堅牢な AGI モデルは、概念を埋め込み空間内の単一の点としてではなく、コンテキストに応じて再重み付けできる関連付けの動的な階層グラフとして表現します。たとえば、「リンゴ」という概念は、健康関連のコンテキストでは栄養成分を強調し、テクノロジーのコンテキストでは Apple Inc. という会社を強調することができます。モデルは、直接的なコンテキストに基づいて内部のセマンティック グラフの重みを迅速にシフトすることを学習します。合図、ユーザーの意図、感覚データ。

7. 継続的な再解釈と意味の形成:

意味は決して固定されず、新しいコンテキストが生じるたびに常に再解釈の対象となるため、モデルはその内部表現を静的な真実として扱うべきではありません。代わりに、メモリを継続的に再処理し、関連付けを更新する必要があります。定期的な「統合」サイクルは、人間の記憶が時間の経過とともに統合と再解釈を受けるのと同じように、学習された埋め込みと意味論的ネットワークを再調査し、新しく統合された経験とコンテキストに基づいて洗練する可能性があります。

8. 内部状態を人間のような解釈メカニズムに合わせる:

AGI に近づくために、モデルは入力を出力に変換するだけでなく、人間の認知プロセスに似た解釈可能な内部状態を維持する必要があります。

• 概念のアクティブ化: 現在の会話に応じて、特定の概念が多かれ少なかれ顕著になります。

• スキーマとスクリプトの使用: 人間が状況を解釈するために共通のパターンまたは「スクリプト」を使用するのと同じように、モデルは既知の物語構造と文化的スキームを適用して意味を生成する可能性があります。

• 感情的および感情的なタグ付け: 人間の言語における意味は、多くの場合、感情的な価数に依存します。感情シグナル (ユーザーの反応、感情分析、シミュレートされた感情状態のいずれかから) を組み込むと、モデルが単語やフレーズに割り当てる意味を豊かにすることができます。

要約すれば：

「意味 = 経験 x コンテキスト」という考えを真に反映するように AGI モデルを構築したり LLM を進化させたりするには、永続的で進化する記憶、マルチモーダルなグラウンディング、継続的な適応、動的な概念フレームワーク、ユーザー固有のプロファイル、インタラクティブな学習環境を統合することになります。 、および解釈可能な概念構造。このアプローチにより、モデルは、流動的で位置にあり、進行中の経験的コンテキストに深く結びついた意味論的なランドスケープを開発できるようになります。これは、LLM が今日依存している静的なテキストのみの埋め込みよりも人間の理解に近いものです。