Meta の最新の研究は、生成 AI を使用してユーザーの意図を理解できることをどのように証明したか

メタ Facebook、Instagram、WhatsApp、Threads などの親会社である同社は、世界最大のレコメンデーション システムの 1 つを運営しています。

最近発表された 2 つの論文で、研究者らは生成モデルを使用してユーザーの意図をよりよく理解し、それに応答する方法を明らかにしました。

レコメンデーションを生成的な問題として捉えることで、従来のアプローチよりも内容が豊富で効率的な新しい方法でレコメンデーションに取り組むことができます。このアプローチは、ドキュメント、製品、またはその他の種類のオブジェクトを取得する必要があるアプリケーションで重要な用途に使用できます。

密な検索と生成検索

作成するための標準的なアプローチ レコメンデーションシステム ドキュメントの密な表現を計算、保存、取得することです。たとえば、ユーザーにアイテムを推奨するには、アプリケーションで計算できるモデルをトレーニングする必要があります。 埋め込み ユーザーとアイテムの両方に。次に、アイテム埋め込みの大規模なストアを作成する必要があります。

推論時に、推奨システムは、ユーザーの埋め込みが類似している 1 つ以上のアイテムを見つけて、ユーザーの意図を理解しようとします。このアプローチでは、すべてのアイテムの埋め込みを保存する必要があり、すべての推奨操作でユーザーの埋め込みをアイテム ストア全体と比較する必要があるため、アイテムの数が増えるにつれて必要なストレージと計算能力も増加します。

生成検索は、データベースを検索する代わりに、シーケンス内の次の項目を予測することでユーザーの意図を理解し、推奨事項を作成しようとする、より新しいアプローチです。生成検索では項目の埋め込みを保存する必要がなく、その推論と保存のコストは項目のリストが増加しても一定のままです。

生成検索を機能させるための鍵は、各アイテムに関するコンテキスト情報を含む「セマンティック ID」(SID) を計算することです。などの生成検索システム 虎 2 つのフェーズで作業します。まず、エンコーダー モデルがトレーニングされ、その説明とプロパティに基づいて各アイテムの一意の埋め込み値が作成されます。これらの埋め込み値は SID となり、アイテムとともに保存されます。

第 2 段階では、 変圧器モデル は、入力シーケンス内の次の SID を予測するようにトレーニングされます。入力 SID のリストはユーザーの過去のアイテムとのやり取りを表し、モデルの予測は推奨するアイテムの SID です。生成的検索により、個々のアイテムの埋め込みを保存したり検索したりする必要性が軽減されます。また、データ内のより深い意味関係を捕捉する機能も強化され、温度を変更してレコメンデーションの多様性を調整するなど、生成モデルのその他の利点も提供されます。

高度な生成検索

生成検索にはストレージと推論のコストが低いにもかかわらず、いくつかの制限があります。たとえば、トレーニング中に見たアイテムに過剰適合する傾向があります。これは、モデルがトレーニングされた後にカタログに追加されたアイテムを扱うのに問題があることを意味します。レコメンデーション システムでは、これを「 コールドスタートの問題これは、新規でインタラクション履歴のないユーザーとアイテムに関係します。

これらの欠点に対処するために、Meta はハイブリッド レコメンデーション システムを開発しました。 ライガーこれは、生成検索の計算効率とストレージ効率と、高密度検索の堅牢な埋め込み品質およびランキング機能を組み合わせたものです。

トレーニング中に、LIGER は類似性スコアと次のトークンの目標の両方を使用して、モデルの推奨事項を改善します。推論中、LIGER は生成メカニズムに基づいていくつかの候補を選択し、それらをいくつかのコールド スタート アイテムで補足し、生成された候補の埋め込みに基づいてランク付けします。

研究者らは、「高密度検索手法と生成検索手法の融合は、レコメンデーション システムを進化させる多大な可能性を秘めている」と述べ、モデルが進化するにつれて「現実世界のアプリケーションでますます実用的になり、よりパーソナライズされた応答性の高いユーザー エクスペリエンスが可能になる」と述べています。

別の論文で、研究者らは、という名前の新しいマルチモーダル生成検索手法を紹介しています。 多様な嗜好を識別する (Mender) は、生成モデルがさまざまなアイテムとのユーザーのインタラクションから暗黙の好みを取得できるようにする技術です。 Mender は、SID に基づく生成検索メソッドを基盤として構築されており、ユーザーの好みに合わせて推奨事項を充実させることができるいくつかのコンポーネントが追加されています。

Mender は大規模言語モデル (LLM) を使用して、ユーザーの対話を特定の設定に変換します。たとえば、ユーザーがレビュー内の特定の商品について賞賛または苦情を述べた場合、モデルはそれをその製品カテゴリに関する好みに要約します。

メインのレコメンダー モデルは、入力シーケンス内の次のセマンティック ID を予測する際に、ユーザー インタラクションのシーケンスとユーザーの好みの両方に基づいて条件付けされるようにトレーニングされています。これにより、レコメンダー モデルは、コンテキスト内学習を一般化して実行し、明示的にトレーニングされずにユーザーの好みに適応する機能が得られます。

「私たちの貢献は、テキストによるユーザーの好みを介してレコメンデーションを操作するために有機データを利用する能力を解放する、新しいクラスの生成検索モデルへの道を開くものです」と研究者らは書いている。

エンタープライズアプリケーションへの影響

生成検索システムによってもたらされる効率は、エンタープライズ アプリケーションに重要な影響を与える可能性があります。これらの進歩は、インフラストラクチャ コストの削減や推論の高速化など、すぐに実用的なメリットにつながります。カタログのサイズに関係なく、ストレージと推論のコストを一定に維持できるこのテクノロジーの機能は、成長するビジネスにとって特に価値があります。

そのメリットは、eコマースからエンタープライズ検索まで、あらゆる業界に広がります。生成検索はまだ初期段階にあり、成熟するにつれてアプリケーションやフレームワークが登場すると予想されます。