科学＆テクノロジー

アマゾンの生成AIアシスタントQ Business、回答精度の問題でアクセンチュアらの苦情殺到していた | Business Insider Japan

Business Insiderが今回入手した内部文書は、Q Businessがローンチ当初にとどまらず長らく回答精度の問題に苦しみ続けていた事実を示すとともに、企業向け生産性（向上）ツールにAIを搭載する難しさを物語る。アマゾンはその後、Q Businessを閉鎖する選択肢まで一時検討した模様だが、結果的には高い障壁を乗り越えて存続させる道を選んだ。6月下旬の記事でBusiness Insiderが報じたように、アマゾンはQ Businessを統合ビジネスインテリジェンス「QuickSight」、自然言語経由の生成AIアプリ構築「Q Apps」などのツールとまとめた統合ワークスペース「Q Business Suite（QBS）」への刷新を計画。【独自】アマゾン、企業向け生成AIの集大成「Qビジネススイート」7月にも発表へ | Business Insider Japanさらには、9月上旬の記事で報じたように、AIエージェントを搭載した統合ワークスペース「Quick Suite」へのリブランドを進め、目下非公開のプレビューを実施している。アマゾンの広報担当にコメントを求めたところ、Business Insiderが入手した3月時点の社内文書はすでに「情報として古い中身」であり、回答精度の問題はその後のアップデートで解消されたという。アマゾンはAIエージェント競争に本格参入する準備ができている…内部文書を入手 | Business Insider Japanなぜ精度の低い回答を連発した？AIシステムが回答精度の問題に苦しむのは別に珍しい話ではない。不正確な結果や事実に基づかない話を生成する現象はハルシネーション（幻覚）と呼ばれ、いまや社会に広く知られている。Q Businessの場合、回答精度の問題を引き起こしていた大きな要因は「コネクター」すなわち外部のデータソースやアプリケーションと接続するシステムだった。冒頭で触れた社内文書によれば、Q Businessはユーザーが必要とする情報を確実に取り出すプロセスで苦戦し、結果として間違った回答を出力することを繰り返していた。例えば、インテュイット（Intuit）のケースでは、（回答を生成する際に参照する）文書の関連性を改善するためのカスタムメタデータにアクセスできなかった。アクセンチュア（Accenture）は、システムを視覚的に表現するアーキテクチャ図の分析に関するバグをアマゾンにレポート。プロジェクト管理ツールのアサナ（Asana）のケースでは、検索の際に無関係な文書を取り出していた。社内文書によれば、より大きな問題はQ Businessの会話能力で、長文処理を可能とする巨大なコンテキストウィンドウを持ち、深いインサイトを提供するパープレキシティ（Perplexity）のような競合サービスに「大幅な」後れを取っていた。文書から長文の節を取り出したり会話のメモリを一貫して維持したりできないため、Q Businessは「不完全な」回答を頻発したとの記載が内部文書には見受けられた。回答精度の評価や改善を担当するチームの人員配置にも問題があったようだ。2024年だけでプロダクトマネージャーが少なくとも6人交代し、また、エンジニアリング及びデータを担当するチームは応答精度に関わる作業に「十分なリソースを充てていなかった」と、内部文書は結論する。アマゾン、UCバークレー教授とStripe経営幹部を急遽採用。AIエージェントに本気の人材集中投下 | Business Insider Japanアップデート繰り返すも懸念消えず同じ社内文書によれば、アマゾンは前節で説明した問題の解消を目指し、2月には正式にQ Businessの回答精度改善計画を策定。その後、順次アップデートを展開した。4月には「ハルシネーション軽減」機能、7月にはより一貫したやり取りを実現するための応答カスタマイズツール、さらに8月には、より高精度で包括的な回答を出力できるようエージェント型の検索拡張生成（RAG、内部のナレッジベースなどを参照して回答する）ソリューションを追加した。8月の公式ブログ投稿で同社はアップデートの成果を次のように自画自賛している。「結果、チャットエクスペリエンスは向上しデータ資産の価値を最大限に高める、より高性能なクエリ応答エンジンが実現しました」アマゾンの広報担当によれば、新興株式市場のナスダック（Nasdaq）や電子機器製造受託サービスのジェイビル（Jabil）など、Q Businessを利用する複数の顧客企業がポジティブなフィードバックを公開の場でシェアしている。ナスダックは、シンプルなクリック操作とデータ接続によりスピード感のあるAIアプリ構築が可能になり、コンプライアンスレビューの改善に役立ったと報告。ジェイビルはQ Businessを利用して社内専用の「Ask Me How（私に聞いて）」ツールを開発し、製造オペレーターがテクニシャンの助太刀を待たずに自力で問題を解決できるようにしたことで、ダウンタイム（機械やシステムの稼働停止時間）の削減につながったという。アマゾンのAIコーディングQ Developerの年間経常収益は、競合ツールCursorの「数％程度」と判明 | Business Insider Japanこうした数々の施策を経ても、Q Businessをはじめとする「Q」ブランドの先行きへの懸念は依然として消えていない。かつてBusiness…