Amazon Rufus: AI を活用したショッピング アシスタントをどのように構築したか

「寒い季節のゴルフには何が必要ですか？」

「トレイルシューズとランニングシューズの違いは何ですか？」

「5歳児に最適な恐竜のおもちゃは何ですか?」

これらは、顧客が実店舗の親切な販売員に尋ねる可能性のある自由回答の質問の一部です。しかし、顧客はオンライン ショッピング中に同様の質問に対する答えをどのようにして得られるでしょうか?

Amazon の答えは、生成 AI を活用したショッピング アシスタント、Rufus です。 Rufus は、Amazon アプリ内でさまざまな質問に答えることで、Amazon の顧客がより多くの情報に基づいて買い物を決定できるよう支援します。ユーザーは製品の詳細を取得し、オプションを比較し、製品の推奨事項を受け取ることができます。

私は、Rufus を動かす大規模言語モデル (LLM) を構築した科学者とエンジニアのチームを率いています。便利な会話型ショッピング アシスタントを構築するために、私たちは生成 AI のさまざまな側面にわたって革新的な技術を使用しました。私たちはショッピングに特化したカスタム LLM を構築しました。さまざまな新しい証拠ソースを使用した検索拡張生成を採用しました。強化学習を活用して応答を改善しました。高性能コンピューティングを進歩させ、推論効率を向上させ、待ち時間を短縮しました。そして、買い物客に迅速に回答を届けるために新しいストリーミング アーキテクチャを実装しました。

ルーファスが答えを得る方法

ほとんどの LLM は、モデルの全体的な知識と機能を知らせる広範なデータセットで最初にトレーニングされ、次に特定のドメインに合わせてカスタマイズされます。これは Rufus にはうまくいきません。私たちの目的は、最初からショッピング データ、つまり Amazon のカタログ全体、さらにはカスタマー レビューやコミュニティ Q&A 投稿からの情報に基づいてトレーニングすることであったからです。そこで当社の科学者は、Web 上の公開情報とともにこれらのデータ ソースでトレーニングされたカスタム LLM を構築しました。

しかし、おそらく尋ねられる可能性のある膨大な範囲の質問に答える準備をするには、Rufus に、最初のトレーニング データを超えて新しい情報を取り込む権限を与える必要があります。たとえば、「この鍋は食洗機で洗えますか?」という質問に答える場合です。 LLM は最初に質問を解析し、次にどの検索ソースが回答の生成に役立つかを判断します。

当社の LLM は、検索拡張生成 (RAG) を使用して、製品カタログ、顧客レビュー、コミュニティ Q&A 投稿など、信頼できると知られているソースから情報を取得します。関連する Amazon ストア API を呼び出すこともできます。私たちの RAG システムは、使用されるデータ ソースが多様であり、質問に応じてそれぞれの関連性が異なるため、非常に複雑です。

すべての LLM、および生成 AI の使用はすべて進行中の作業です。 Rufus が時間の経過とともに改善するためには、どの応答が役に立ち、どの応答が改善できるかを学習する必要があります。顧客はその情報の最良の情報源です。 Amazon では、顧客が Rufus にフィードバックを提供して、回答が好きか嫌いかをモデルに知らせることを推奨しています。その回答は強化学習プロセスで使用されます。時間の経過とともに、Rufus は顧客からのフィードバックから学習し、対応を改善します。

Rufus の特別なチップと処理テクニック

Rufus は、目立った遅延なく何百万もの顧客と同時に対応できる必要があります。生成 AI アプリケーションは、特に Amazon の規模では非常に多くの計算を必要とするため、これは特に困難です。

応答生成の遅延を最小限に抑えながら、システムが処理できる応答の数を最大化するために、コアのアマゾン ウェブ サービス (AWS) と統合された Amazon の特殊な AI チップ、Trainium と Inferentia に注目しました。私たちは AWS と協力してモデル推論の効率を向上させる最適化を行い、これをすべての AWS 顧客が利用できるようにしました。

しかし、ユーザー リクエストをバッチで処理する標準的な方法では、LLM が各応答を構成するときに生成するトークン (この場合はテキスト単位) の数を予測することが難しいため、レイテンシとスループットの問題が発生します。当社の科学者は AWS と協力して、Rufus が連続バッチ処理を使用できるようにしました。これは、バッチ内のすべてのリクエストが終了するのを待たずに、モデルがバッチ内の最初のリクエストが終了するとすぐに新しいリクエストの処理を開始できる新しい LLM 手法です。この技術により、AI チップの計算効率が向上し、買い物客が迅速に答えを得ることができるようになります。

私たちは、Rufus には、与えられた質問に対して最も関連性が高く役立つ答えを提供してほしいと考えています。それは長い形式のテキストの回答を意味する場合もありますが、短い形式のテキストや、ストア内を移動するためのクリック可能なリンクである場合もあります。そして、提示される情報が論理的な流れに従っていることを確認する必要がありました。物事を正しくグループ化してフォーマットしないと、顧客にとってあまり役に立たない、混乱を招く応答になってしまう可能性があります。

そのため、Rufus は応答の配信に高度なストリーミング アーキテクチャを使用しています。顧客は、長い回答が完全に生成されるまで待つ必要はありません。代わりに、残りの部分が生成されている間に、回答の最初の部分を取得できます。 Rufus は、内部システムにクエリを実行して、ストリーミング応答に適切なデータを入力します (ハイドレーションと呼ばれるプロセス)。応答のコンテンツを生成するだけでなく、さまざまな応答要素をどのように表示するかを指定する書式設定命令も生成します。

Amazon は顧客エクスペリエンスを向上させるために 25 年以上にわたって AI を使用してきましたが、生成 AI は新しくて革新的なものを表しています。私たちは、Rufus と、Rufus がお客様に提供する新しい機能を誇りに思っています。