OpenInferは、エッジアプリケーションのAI推論を再定義するために800万ドルの資金を調達しました。
Behnam BastaniとReza Nouraiの脳の子であり、MetaのReality LabsとRobloxでAIシステムを構築して拡大して過ごしました。
AIとシステムの設計の最前線での作業を通じて、BastaniとNouraiは、システムアーキテクチャが継続的で大規模なAI推論をどのように可能にするかを直接目撃しました。ただし、今日のAI推論は、クラウドAPIとホストシステムの後ろにロックされたままです。これは、低遅延、プライベート、および費用効率の高いエッジアプリケーションの障壁です。 OpenInferはそれを変更します。バスタニは、GamesBeatのインタビューで、端にあるデバイスの種類に不可知論されたいと考えています。
SOCSからクラウドまでのデバイス上で直接大規模なAIモデルをシームレスに実行できるようにすることにより、パフォーマンスを損なうことなくAIモデルの推論を可能にします。
含意？携帯電話がリアルタイムでニーズを予測する世界を想像してください。言語を即座に翻訳し、スタジオの品質の精度で写真を強化したり、あなたを本当に理解している音声アシスタントを動かしてください。 AIの推論がデバイスで直接実行されると、ユーザーはどこにいても、パフォーマンスの向上、プライバシーの向上、途切れない機能を期待できます。このシフトは遅れを排除し、手のひらにインテリジェントで高速コンピューティングをもたらします。
OpenInferエンジンの構築：AIエージェント推論エンジン
6か月前に会社を設立して以来、BastaniとNouraiはチームを組み立ててきました
メタでの当時の元同僚を含む7人。メタにいる間、彼らはOculusを建設していました
一緒にリンクし、低遅延の高性能システム設計の専門知識を紹介します。
バスタニは以前、メタのリアリティラボで建築のディレクターを務め、リードチームで
Googleは、モバイルレンダリング、VR、およびディスプレイシステムに焦点を当てました。最近では、彼は先輩でした
RobloxのエンジンAIのエンジニアリングディレクター。ヌウライは上級工学の役割を担っています
Roblox、Meta、Magic Leap、Microsoftなどの業界リーダーのグラフィックとゲーム。
OpenInferは、「AIエージェント推論エンジン」と呼ばれるOpenInferエンジンを構築しています
比類のないパフォーマンスとシームレスな統合のために設計されています。
比類のないパフォーマンスの最初の目標を達成するために、OpenInferの最初のリリース
エンジンは、蒸留されたdeepseekのllama.cppおよびollamaに比べて2-3xのより速い推論を提供します
モデル。このブーストは、の合理化された取り扱いを含むターゲットの最適化から来ています
量子化された値、強化されたキャッシュによるメモリアクセスの改善、およびモデル固有の
チューニング – モデルの変更を必要とせずに。
簡単な展開とのシームレスな統合の2番目の目標を達成するために、
OpenInferエンジンはドロップイン交換として設計されており、ユーザーがエンドポイントを切り替えることができます
URLを更新するだけで。既存のエージェントとフレームワークはシームレスに機能し続けます、
変更なし。
「OpenInferの進歩は、AI開発者にとって大きな飛躍を示しています。大幅に向上することによって
推論の速度、Behnamと彼のチームは、リアルタイムのAIアプリケーションをより応答性の高いものにしています、
開発サイクルの加速、および強力なモデルがエッジで効率的に実行できるようにする
デバイス。これにより、オンデバイスインテリジェンスの新しい可能性が開き、可能なことを拡大します
AI主導のイノベーション」と、Brave Capitalのマネージングパートナーであり、
OpenInferの投資家。
OpenInferは、高性能AI推論を促進するための先駆的なハードウェア固有の最適化です
大規模なモデルでは、エッジデバイスで業界のリーダーをパフォーマンスしています。からの推論を設計することにより
ゼロの上に、彼らはより高いスループット、メモリの使用量を削減し、シームレスにロックしています
ローカルハードウェアでの実行。
将来のロードマップ：すべてのデバイスにわたるシームレスなAI推論
OpenInferの発売は、特に最近のDeepseekニュースに照らして、適切にタイミングされています。 AI採用として
加速すると、推論は、計算需要の主な要因としてトレーニングを追い抜いています。その間
DeepSeekのようなイノベーションは、トレーニングと推論の両方の計算要件を削減し、
エッジベースのアプリケーションは、処理が制限されているため、パフォーマンスと効率に依然として闘っています
力。消費者デバイスで大規模なAIモデルを実行するには、新しい推論方法が必要です。
クラウドインフラストラクチャに依存することなく、低遅延のハイスループット性能を有効にします。
ローカルハードウェアのAIを最適化する企業に大きな機会を生み出します。
「OpenInferがなければ、明確なエッジデバイスでのAI推論は非効率的です。
ハードウェア抽象化レイヤー。この課題により、大きなモデルを展開します
計算されたプラットフォームを信じられないほど困難にし、AIワークロードをに押し戻します
クラウド – コストがかかり、遅く、ネットワーク条件に依存する場所。 OpenInfer
OpenInferの投資家であるGokul Rajaram氏は、次のように述べています。ラジャラムはそうです
エンジェル投資家であり、現在はCoinbaseとPinterestの役員です。
特に、OpenInferは、シリコンとハードウェアのベンダーがAIを強化するのを支援するために独自に配置されています
デバイスの推論パフォーマンス。プライバシー、コスト、または
信頼性はOpenInferを活用し、ロボット工学、防衛、エージェントAI、および
モデル開発。
モバイルゲームでは、OpenInferのテクノロジーがリアルタイムで超応答性のあるゲームプレイを可能にします
適応AI。システム上の推論を有効にすることで、レイテンシを減らしてゲーム内でよりスマートにすることができます
ダイナミクス。プレイヤーは、よりスムーズなグラフィックス、AIを搭載したパーソナライズされた課題、および
あらゆる動きとともに進化するより没入型の経験。
「OpenInferでは、私たちのビジョンは、AIをあらゆる表面にシームレスに統合することです」とBastani氏は述べています。 「私たちは、自動運転車、ラップトップ、モバイルデバイス、ロボットなどでAIを動かすすべてのデバイスのデフォルトの推論エンジンとしてOpenInferを確立することを目指しています。」
OpenInferは、資金調達の最初のラウンドで800万ドルのシードラウンドを調達しました。投資家は含まれます
Brave Capital、Cota Capital、Essence VC、Operator Stack、Stemai、Oculus VRの共同設立者で元CEOのBrendan Iribe、Google DeepmindのチーフサイエンティストJeff Dean、Microsoft Experiences and DevicesのチーフプロダクトオフィサーAparna Chennapragada、Angel Investor Gokul Rajaramなど。
「現在のAIエコシステムは、アクセスを制御する数人の集中プレーヤーによって支配されています
クラウドAPIおよびホストサービスを介した推論。 OpenInferでは、それを変えています」と言いました
バスタニ。 「私たちの名前は私たちの使命を反映しています：私たちはAI推論へのアクセスを「開いている」 – ギビング
誰もが高価なクラウドにロックされることなく、ローカルで強力なAIモデルを実行する能力
サービス。私たちは、AIがアクセスしやすく、分散化され、本当にの手にある未来を信じています
そのユーザー。」
