Pinecone は AI 推論をベクトル データベースと統合します – ブロックとファイル

GenAI 推論を Pinecone Vector データベースから直接実行できるようになり、検索拡張生成 (RAG) が向上しました。

松ぼっくり チャットボット ユーザー リクエストへの応答を構築する際に AI 言語モデルで使用されるベクトル埋め込みデータベースを提供します。 ベクトル埋め込み 大規模言語モデル (LLM) および小規模言語モデル (SML) によるセマンティック検索で使用される、テキスト、画像、オーディオ、ビデオ オブジェクトの多次元のシンボル表現です。同データベースには、フルマネージドの埋め込みおよび再ランキングモデルに加えて、既存の高密度検索機能と並行して、スパース埋め込み検索への「新しいアプローチ」が含まれるようになったという。

Pinecone の CEO、Edo Liberty 氏は、AWS と Yahoo の元リサーチディレクターであり、次のように述べています。また、AI を活用したソリューションのパフォーマンスと精度も劇的に向上します。」

現在はプラットフォームと呼ばれているデータベースには、次の機能が追加されました。

• pinecone-rerank-v0 独自の再ランキング モデル
• pinecone-sparse-english-v0 独自のスパース埋め込みモデル
• 新しいスパース ベクトル インデックス タイプ
• CohereのRerank 3.5モデルの統合
• ロールベースのアクセス制御 (RBAC)、監査ログ、顧客管理の暗号化キー (CMEK)、AWS PrivateLink のプライベート エンドポイントの一般提供などの新しいセキュリティ機能

ベクトル データベースに対するセマンティック検索中に GenAI の言語モデルで採用される高密度検索では、関連するすべてのベクトルが利用されます。スパース検索は、特定の単語と用語のみがベクトル化され、ベクトル埋め込み内の他のすべての次元にはゼロ値が割り当てられるキーワード検索方法です。キーワードはスパース ベクトルとして表すことができ、各キーワードはベクトル空間の次元に対応します。

同社は、Cohereと協力してCohere Rerank 3.5をPineconeプラットフォーム内でネイティブにホストしており、Pinecone APIを通じて選択できると述べた。 Rerank 3.5は、言語をまたがる複雑なビジネス情報の理解に優れており、金融、医療、公共部門などの分野のグローバル組織に最適であると述べています。

Pinecone は、新しい独自の再ランキングおよび埋め込みモデルと、Cohere の Rerank 3.5 などのサードパーティ モデルにより、顧客に「高品質の検索への迅速かつ簡単なアクセス」を提供すると述べています。これらの機能強化により、グラウンディングされた AI アプリケーションの開発が大幅に合理化されます。

「グラウンディング」とは、幻覚や想像上の反応が発生する可能性が低いことを意味します。

同社は、GenAI モデルから最高のパフォーマンスを得るには、次の 3 つの主要なコンポーネントを組み合わせる必要があることが研究で示されていると述べています。

• 意味上の深い類似性を捕捉するための高密度ベクトル検索
• 独自のスパース インデックス アルゴリズムを使用した、キーワードおよびエンティティ検索の高速かつ正確なスパース取得
• 密な結果と疎な結果を組み合わせて関連性を最大化するクラス最高の再ランキング モデル

再ランキング モデルは、情報検索パイプラインからの最初の応答を取得し、リストされたエントリを並べ替え (再ランク付け) して、より関連性の高いエントリが上位にランクされるようにして、検索の効率を向上させます。

Pinecone は、データベース内でスパース検索、デンス検索、および再ランキング機能を組み合わせることで、「開発者は、デンス検索システムまたはデンス検索システムよりも最大 48%、平均で 24% 優れたパフォーマンスを実現するエンドツーエンド検索システムを作成できるようになります」と主張しています。スパース検索のみ。」こう書かれています。

• pinecone-rerank-v0 は、Benchmarking-IR (BEIR) ベンチマークで業界をリードするモデルと比較して、検索精度を最大 60 パーセント、平均で 9 パーセント向上させます。
• pinecone-sparse-english-v0 は、キーワードベースのクエリのパフォーマンスを向上させ、Text Retrieval Conference (TREC) 深層学習トラックで BM25 よりも最大 44 パーセント、平均 23 パーセント優れた正規化割引累積ゲイン (NDCG@10) を実現します。

Pinecone は、単一の API を介して、そのインフラストラクチャ上でホストされるこれらの機能を提供します。開発者が GenAI を開発できるようになったとのこと 検索 アプリケーションは「モデルのホスティング、統合、インフラストラクチャの管理の負担がなくなり」、「複数のプロバイダーを介してルーティングされるベクトルやデータについて心配する必要がなくなります」。

お客様は AWS Marketplace を通じて Pinecone にアクセスできます。