1761354336
2025-08-21 16:40:00
デルフィ、という名前のサンフランシスコで設立されて 2 年目の AI スタートアップです。 古代ギリシャの神託にちなんで、に直面していました。 21世紀の課題「デジタルマインド」を徹底解明— エンドユーザーをモデルにしたインタラクティブでパーソナライズされたチャットボットで、エンドユーザーの書き込み、録音、その他のメディアに基づいて音声を伝達することを目的としています — データに溺れていました。
各 Delphi は、任意の数の書籍、ソーシャル フィード、コース教材から情報を引き出してコンテキストに応じて応答できるため、それぞれのやり取りが直接の会話のように感じられます。クリエイター、コーチ、アーティスト、専門家はすでに、洞察を共有し、視聴者を引き付けるためにそれらを使用していました。
しかし、ポッドキャスト、PDF、またはソーシャル投稿が Delphi にアップロードされるたびに、会社の基盤となるシステムは複雑になっていきました。システムを壊すことなく、これらの AI の分身をリアルタイムで応答し続けることが、週を追うごとに難しくなっていきました。
ありがたいことに、 デフィ 解決策を見つけた マネージド ベクター データベースの最愛の Pinecone を使用して、スケーリングの問題を解決します。
オープンソースはまだ限界がある
Delphi の初期の実験は、オープンソースのベクター ストアに依存していました。これらのシステムは会社のニーズに応じてすぐに壊れてしまいました。インデックスのサイズが膨れ上がり、検索が遅くなり、規模が複雑になりました。
ライブ イベントや突然のコンテンツのアップロード中に遅延が急増すると、会話フローが低下する危険がありました。
さらに悪いことに、Delphi の小規模ながら成長を続けるエンジニアリング チームは、製品機能を構築する代わりに、インデックスの調整とシャーディング ロジックの管理に数週間を費やしていることに気づきました。
SOC 2 への準拠、暗号化、および組み込みの名前空間分離を備えた Pinecone のフルマネージド ベクトル データベースが、より良い方法であることが判明しました。
各デジタル マインドは、Pinecone 内に独自の名前空間を持つようになりました。これにより、プライバシーとコンプライアンスが確保され、ユーザーがアップロードしたデータのリポジトリからナレッジを取得する際の検索範囲が狭まり、パフォーマンスが向上します。
クリエイターのデータは 1 回の API 呼び出しで削除できます。取得は、95 パーセンタイルで一貫して 100 ミリ秒未満で返されます。 これは、Delphi の厳格な 1 秒のエンドツーエンド遅延目標の 30% 未満を占めています。
「松ぼっくりを使えば、うまくいくかどうかを考える必要がありません」と氏は言いました。 サミュエル・スペルスバーグ氏、Delphi 共同創設者兼 CTO、最近のインタビューで。 「これにより、当社のエンジニアリング チームは、セマンティックな類似性インフラストラクチャではなく、アプリケーションのパフォーマンスと製品機能に集中できるようになりました。」
スケールの背後にあるアーキテクチャ
Delphi システムの中心となるのは、検索拡張生成 (RAG) パイプラインです。コンテンツは取り込まれ、クリーニングされ、チャンク化されます。次に、OpenAI、Anthropic、または Delphi 独自のスタックのモデルを使用して埋め込みます。
これらの埋め込みは、Pinecone の正しい名前空間に保存されます。クエリ時に、Pinecone は最も関連性の高いベクトルをミリ秒単位で取得し、それが大規模な言語モデルに供給されて応答が生成されます。これは、AI 業界で次のように知られている一般的な手法です。 検索拡張生成 (RAG)。
このデザイン これにより、Delphi はシステム予算を圧迫することなく、リアルタイムの会話を維持できます。
として Jeffrey Zhu 氏、Pinecone 製品担当副社長氏は、重要なイノベーションは、従来のノードベースのベクトル データベースからオブジェクト ストレージ ファーストのアプローチに移行したことであると説明しました。
Pinecone は、すべてのデータをメモリ内に保持するのではなく、必要に応じてベクトルを動的にロードし、アイドル状態のベクトルをオフロードします。
「これは Delphi の使用パターンと非常に一致しています」と Zhu 氏は言います。 「Digital Minds は、常時ではなく、バースト的に呼び出されます。ストレージとコンピューティングを分離することで、水平方向のスケーラビリティを実現しながらコストを削減します。」
Pinecone は、名前空間のサイズに応じてアルゴリズムを自動的に調整します。小規模な Delphis では、数千のベクトルしか保存できない場合があります。他のものには、数十年にわたるアーカイブを持つクリエイターから得られた何百万ものものが含まれています。
Pinecone は、それぞれの場合に最適なインデックス作成アプローチを適応的に適用します。 Zhu 氏は次のように述べています。「顧客がアルゴリズムのどちらかを選択したり、リコールについて疑問を抱いたりする必要はありません。私たちはそれを内部で処理します。」
クリエイター間のばらつき
すべてのデジタル マインドが同じように見えるわけではありません。クリエイターの中には、数万ワードに及ぶ比較的小さなデータセット (ソーシャル メディア フィード、エッセイ、コース教材) をアップロードする人もいます。
他の人はさらに深く進みます。スペルスバーグ氏は、数十年にわたるマーケティング知識に基づいて、数百ギガバイトのスキャンされた PDF を提供したある専門家について説明しました。
この差異にもかかわらず、Pinecone のサーバーレス アーキテクチャにより、Delphi はそれを超えて拡張することができます。 1億個のベクトルを保存 横切って 12,000以上の名前空間 崖にぶつからずに。
ライブ イベントやコンテンツの削除によって引き起こされる急増の場合でも、取得は一貫性を保ちます。 Delphi は現在約 世界中で 1 秒あたり 20 クエリ、スケーリング インシデントがゼロでタイムゾーンを越えた同時会話をサポートします。
100万人のデジタルマインドを目指して
Delphi の目標は、数百万の Digital Minds をホストすることであり、その目標を達成するには、単一のインデックスで少なくとも 500 万の名前空間をサポートする必要があります。
スペルスバーグにとって、その規模は仮説ではなく、製品ロードマップの一部です。 「私たちはすでにシード段階のアイデアから、1億個のベクターを管理するシステムに移行しています」と彼は言いました。 「これまでに確認した信頼性とパフォーマンスにより、積極的に拡張する自信が得られます。」
Zhu 氏もこれに同意し、Pinecone のアーキテクチャは、Delphi のような爆発的なマルチテナントのワークロードを処理するように特別に設計されていると指摘しました。 「このようなエージェント アプリケーションは、大規模化すると壊れるインフラストラクチャ上に構築することはできません」と彼は言いました。
RAG が依然として重要であり、近い将来も重要である理由
大規模な言語モデルのコンテキスト ウィンドウが拡大するにつれて、一部の言語モデルでは AI業界はRAGが時代遅れになる可能性があると示唆している。
スペルスバーグ氏もジュー氏もその考えには反対している。 「たとえ10億トークンのコンテキストウィンドウがあったとしても、RAGは依然として重要である」とスペルスバーグ氏は語った。 「常に最も関連性の高い情報を明らかにしたいと考えています。そうでないと、お金が無駄になり、遅延が増加し、モデルの注意が散漫になってしまいます。」
朱氏はそれを次のように組み立てた。 コンテキストエンジニアリング — 松ぼっくりが最近その中で使用した用語です。 独自の技術ブログ投稿。
「LLM は強力な推論ツールですが、制約が必要です」と彼は説明しました。 「自分の持っているものをすべて投入するのは非効率的であり、より悪い結果につながる可能性があります。コンテキストを整理して絞り込むことはコストがかからないだけでなく、精度も向上します。」
でカバーされているように、 パインコーン自身のコンテキスト エンジニアリングに関する著作検索は、ユーザーのクエリ、以前のメッセージ、ドキュメント、記憶の適切な組み合わせをキュレーションして、時間の経過とともに対話の一貫性を保つことで、言語モデルの有限な注意力の持続時間を管理するのに役立ちます。
これがないとウィンドウがいっぱいになり、モデルは重要な情報を追跡できなくなります。これにより、アプリケーションは長時間実行される会話全体で関連性と信頼性を維持できます。
ブラックミラーからエンタープライズグレードまで
いつ VentureBeat は 2023 年に初めて Delphi をプロファイリングしました、同社はシード資金で270万ドルを調達したばかりで、歴史上の人物や有名人の説得力のある「クローン」を作成する能力で注目を集めていました。
CEO の Dara Ladjevardian 氏は、このアイデアを AI を通じて亡き祖父と再会しようという個人的な試みにまで遡りました。
今日、フレームは成熟しました。 Delphi は、Digital Minds を、ギミックの多いクローンやチャットボットとしてではなく、知識、教育、専門知識を拡大するためのツールとして強調しています。
同社は、専門能力開発、コーチング、エンタープライズトレーニングなど、正確性、プライバシー、応答性が最重要視される分野での応用を検討しています。
その意味で、Pinecone とのコラボレーションは、単なる技術的な適合以上のものを表しています。これは、物語を目新しさからインフラストラクチャーに移すという Delphi の取り組みの一環です。
Digital Minds は現在、信頼性が高く、安全で、エンタープライズ対応として位置付けられています なぜなら、それらは速度と信頼性の両方を考慮して設計された検索システムの上にあるからです。
デルフィとパインコーンの次は何でしょうか？
今後、Delphi は機能セットを拡張する予定です。今後追加される予定の 1 つは「インタビュー モード」です。デジタル マインドは、知識のギャップを埋めるために自身の作成者/ソース担当者に質問することができます。
これにより、大規模なコンテンツのアーカイブを持たない人にとっての参入障壁が低くなります。一方、Pinecone はプラットフォームの改良を続け、適応型インデックス作成やメモリ効率の高いフィルタリングなどの機能を追加して、より高度な検索ワークフローをサポートします。
両社とも、その軌道は規模拡大に向かっています。 Delphi は、ドメインや対象者を超えて活動する何百万もの Digital Mind を想定しています。 Pinecone は、そのデータベースをエージェント アプリケーションの次の波の検索レイヤーとして捉えており、コンテキスト エンジニアリングと検索は依然として不可欠です。
「信頼性のおかげで、規模を拡大する自信が得られました。」 スペルスバーグ氏は語った。朱氏も同様の感想を述べた。 「それはベクトルを管理するだけではありません。速度と信頼性の両方を必要とするまったく新しいクラスのアプリケーションを大規模に実現できるようにすることです。」
Delphi が成長を続ければ、何百万人もの人々が、Pinecone によって内部で静かに駆動される、知識と個性の生きたリポジトリである Digital Minds と日々やり取りすることになるでしょう。
#のデジタル #マインドスタートアップ #Delphi #がユーザー #データに溺れるのをどのように止めPinecone #でスケールアップしたか