起動する データペラゴ は、データ分析と GenAI モデルのコンピューティングを高速化するソフトウェアである Universal Data Processing Engine (UDPE) を発表しました。
DataPelago (「データ」と「アーキペラゴ」のかばん語) は、既存のソフトウェア アーキテクチャと x86 CPU のパフォーマンス、コスト、スケーラビリティの制限を克服するために、アクセラレーション コンピューティング時代の新しいデータ処理標準を作成していると述べています。 UDPE は、オープンソースの Gluten、Velox、Substrait を使用して Spark と Trino を強化し、顧客に「破壊的な価格/パフォーマンスの利点」を提供します。データ移行やロックインを必要とせずに、既存のデータ ストアやレイクハウス プラットフォーム、SQL、Python、Airflow ワークフロー自動化、Tableau、Power BI などに統合されます。
DataPelago は、CEO の Rajan Goyal と最高製品責任者の Anand Iyer によって 2021 年に設立されました。 Goyal 氏は、2022 年に Microsoft に約 1 億 9,000 万ドルで買収された DPU スタートアップ Fungible の CTO でした。彼の経歴には、Cavium でのハードウェアとソフトウェアの共同設計が含まれます。 UDPE は準ソフトウェア DPU と考えてください。
ラジャン・ゴヤル
DataPelagoは今月だけで、2021年のシードラウンドで800万ドル、2022年のAラウンドで2,000万ドル、ベンチャーラウンドで4,700万ドルを通じ、7,500万ドル以上のVC資金を調達した。最新のラウンドには、Eclipse、Taiwania Capital、Qualcomm Ventures、Alter Venture Partners、Nautilus Venture Partners、および First Citizens Bank の一部門である Silicon Valley Bank が参加しました。
Goyal 氏は次のように述べています。「今日、組織は、画期的なインテリジェンスとイノベーションを実現するために、超えられない障壁に直面しています。それは、無限のデータの海を処理することです…非線形思考を適用してデータ処理の現在の限界を克服することで、指数関数的に増加する量を処理できるエンジンを構築しましたさまざまな形式にわたる複雑なデータを収集します。」
Gen AI/分析スタックにおける DataPelago の位置
彼 投資家に言った 同氏は、「まず、固有のデータ知識を活用して隣接性を計算し、ストレージを活用して近接性を計算するソフトウェア ベースのクエリ プランを構築することによって進める」と述べています。これに加えて、大規模な並列クエリ実行を実現するために使用できるネットワーク化されたクエリ エンジンを作成するというビジョンについて説明しました。」これらのエンジンは、CPU、GPU、FPGA、その他の高速化ハードウェアをサポートします。
UDPE はデータ処理をリファクタリングしてアクセラレーション コンピューティングを活用し、高度な並列処理と密結合メモリ モデルを活用して桁違いに高いパフォーマンスを実現します。
これには 3 つのコンポーネント レイヤーがあります。
- データVM – CPU、GPU、FPGA、およびカスタム シリコンでの実行に共通の抽象化を提供する、データ オペレーター向けのドメイン固有の命令セット アーキテクチャ (ISA) を備えた仮想マシン。
- データOS – オペレーティング システム層は、データ操作を異種アクセラレーション コンピューティング要素にマッピングし、それらを動的に管理して大規模なパフォーマンスを最適化します。
- データアプリ – Spark や Trino などのプラットフォームとの統合を可能にし、これらのエンジンに加速機能を提供するプラグイン可能なレイヤー。
共同創設者兼 CPO アナンド・アイヤー
同社のUDPEは、データの鮮度を確保しながら数十億のトランザクションを分析し、数百万の消費者およびデータセンターのエンドポイントにわたる有線速度で脅威を検出するAI駆動モデルをサポートするなど、リソースを大量に消費するユースケースに適していると主張しています。トレーニング、微調整、RAG 推論パイプラインの迅速な展開を促進するスケーラブルなプラットフォーム。
UDPE はストレージ エンジンではありません。広報担当者が語った B&F: 「ストレージ エンジン (Speedb など) は、ストレージ ドライブへのデータの書き込みとストレージ ドライブからのデータの読み取りに使用され、低レベル コードで書かれています。ストレージ エンジンは、クエリやデータ処理リクエストのセマンティクスではなく、ストレージ上のデータの配置を重視します。 DataPelago は、GenAI および分析ワークロード用のデータ処理エンジンです。 DataPelago はテクノロジー スタックの上位に位置します。データ処理クエリ/リクエストの処理に重点を置き、実際のデータの配置は、Speedb エンジンなどのテクノロジーを含む基盤となるストレージ層に任せます。」
「CPU、GPU、FPGA などの最適なコンピューティング ハードウェアに操作を自動的にマッピングする機能強化が導入され、ターゲット ハードウェアのパフォーマンスを最大化するためにこれらの要素が動的に再構成されます。 [It] カスタム ハードウェアは必要なく、AWS、Azure、GCP などのハイパースケーラーや、CoreWeave、Crusoe、Lambda などの新しい GPU クラウド プロバイダーのクラウドで利用可能な標準の高速コンピューティング インスタンスで動作します。これらすべてがユーザーにとってシームレスに行われます。クエリ、コード、アプリケーション、ワークフロー、ツール、プロセスを変更する必要はありません。」
Goyal は DataPelago を設立した自身の経験について書いています ここ。
#DataPelago #が #GenAI #およびレイクハウス分析用のソフトウェア #アクセラレータを発表 #ブロックとファイル