世界

Sambanovaは、16のSN40L RDUチップでのみ16個のdeepseek-R1 671bで、1秒あたり198トークンをヒットします

Sambanovaは、16のカスタムチップを使用して198トークン/秒でdeepseek-r1を実行しますSN40L RDUチップは、GPUよりも3倍高速で、5倍効率が高いと伝えられていますクラウド上の年末までに100倍の容量で、5倍のスピードブーストがまもなく約束されます中国のAIの新興企業Deepseekが持っています すぐにそれ自体の名前を作りました 2025年、R1の大規模なオープンソース言語モデルがあり、高度な推論タスク用に構築され、業界のトップモデルと同等のパフォーマンスを示し、より費用対効果が高くなります。Sun/OracleとStanford Universityの専門家によって2017年に設立されたAIスタートアップであるSambanova Systemsは、現在までのDeepseek-R1 671b LLMの世界最速の展開であると主張していることを発表しました。同社は、ユーザーごとに1秒あたり198トークンを達成し、わずか16個のカスタムビルドチップを使用して、320の40ラックを交換したと言います。 nvidia 通常必要なGPU。独立して検証されました「SN40L RDUチップを搭載したSambanovaは、Deepseekを実行している最速のプラットフォームです」とSambanovaのCEO兼共同設立者であるRodrigo Liangは述べています。 「これは、単一のラックの最新のGPU速度よりも5倍高速に増加します。年末までに、DeepSeek-R1に100倍の容量を提供します。」NvidiaのGPUは伝統的に大規模なAIワークロードを駆動していますが、Sambanovaは、その再構成可能なデータフローアーキテクチャがより効率的なソリューションを提供すると主張します。同社は、そのハードウェアが、DeepSeek-R1の完全な推論力を維持しながら、主要なGPUの速度と5倍の効率を提供すると主張しています。「DeepSeek-R1は、利用可能な最も先進的なフロンティアAIモデルの1つですが、GPUの非効率性により、その最大限の可能性は制限されています」とLiang氏は述べています。 「それは今日変わります。次の主要なブレークスルー - 推論コストの崩壊とハードウェアの要件を40ラックから1つだけに削減する - 最速の速度でDeepSeek -R1を効率的に提供しています。」AIの企業人工分析を評価するAIの共同設立者であるGeorge Cameron氏は、彼の会社は、「SambanovaのCloud Deploymentsを195を超える出力トークン/sで、671億パラメーターDeepseek-R1ミックスの専門家モデルを独立してベンチマークした」と述べました。 DeepSeek-R1について測定したことがあります。これらのモデルは推論モデルを使用して出力トークンを使用して応答の品質を向上させるため、高出力速度は推論モデルにとって特に重要です。 Sambanovaの高出力速度は、潜伏感度に敏感なユースケースでの推論モデルの使用をサポートします。」TechRadar Pro Newsletterにサインアップして、ビジネスが成功するために必要なすべてのニュース、意見、機能、およびガイダンスを取得してください！DeepSeek-R1 671Bが利用可能になりました サマンガクラウド、ユーザーを選択するためにAPIアクセスが提供されます。同社は容量を急速に拡大しており、「近い将来」の合計ラックスループットの1秒あたり20,000トークンに到達することを望んでいると言います。（画像クレジット：人工分析）あなたも好きかもしれません #Sambanovaは16のSN40L #RDUチップでのみ16個のdeepseekR1 #671bで1秒あたり198トークンをヒットします