Groq の新しいシドニー データ センターのおかげで、オーストラリアは AI 推論のアップグレードを取得しました

Groq は AI 推論のリーダーであり、本日、アジア太平洋地域初の AI インフラストラクチャを発表し、オーストラリアのシドニーにあるエクイニクスのデータセンターを選択の場所として選択しました。この開発は、米国とヨーロッパでの開始に続き、継続的に世界規模でデータセンター ネットワークを拡張する一環です。

Groq の投資により、高速、低コスト、スケーラブルな AI 推論がオーストラリア全土の組織や公共部門に近づきます。

この提携に基づき、Groq とエクイニクスはシドニーに 4.5MW の Groq 施設を備えた国内最大級の高速 AI 推論インフラストラクチャ サイトを設立し、従来の GPU やハイパースケーラー クラウドと比べて最大 5 倍高速かつ低コストの計算能力を提供します。

ソフトウェア デファインド相互接続サービスである Equinix Fabric を活用することで、アジア太平洋地域の組織は安全で低レイテンシの高速相互接続の恩恵を受け、本番 AI ワークロードの GroqCloud へのシームレスなアクセスを確保し、完全な制御、コンプライアンス、データ主権を確保します。

LLM を使用したことがあり、「思考」を見たことがあれば、これは推論リソースが限られている結果である可能性があります。この領域の推論能力を拡張することで、ユーザーはより速く応答を得ることができ、その結果エクスペリエンスが向上し、再び戻ってくる可能性が高まります。

– 広告 –

Groq はすでに、Canva を含むオーストラリア全土の顧客と協力して、顧客エクスペリエンスの向上から従業員の生産性の向上に至るまで、ビジネス ニーズに合わせた推論ソリューションを提供しています。この勢いは、GroqCloud の 200 万人のユーザーの半数が拠点を置くアジア太平洋地域全体での Groq の LPU システムに対する需要の高まりを反映しています。

AI の世界では、NVIDIA という 1 つの企業があらゆる話題を独占しています。同社の強力な GPU (グラフィックス プロセッシング ユニット) は、議論の余地のない王者です。 トレーニング ChatGPT、Claude、Llama など、私たち全員が使用する大規模な AI モデル。

しかし、モデルをトレーニングし、 を使用して モデルは 2 つのまったく異なるものです。

トレーニングは 1 回限りの非常に複雑な作業で、数か月と数十億ドルがかかります。モデルの使用、つまり「推論」は、質問するたびに毎秒何百万回も行われます。

Groq は、トレーニングに関して NVIDIA と競合しないことを決定しました。代わりに、彼らは、AI 推論を驚くほど高速にするという 1 つのことだけに向けて設計された、新しい種類のチップをゼロから構築しました。

彼らはこれを LPU (言語処理ユニット) と呼んでいます。

このように考えてください。GPU は、エンジンから塗装に至るまで車全体を構築できる巨大な汎用工場のようなものです。 LPU は、車輪を取り付けるだけの超特殊化された超高速組立ラインですが、汎用工場よりも 1,000 倍速く作業を行うことができます。

その結果、「考えない」AI が誕生します。それはただ 答える。 Groq のデモでは、モデルが毎秒数百のトークン (単語) を吐き出す様子が示されており、これは私たちのほとんどが慣れ親しんでいる速度よりも桁違いに速いです。

この新しい「Groq Cloud」ノードは、今後数か月以内に稼働する予定です。アジア太平洋地域には中国、シンガポールなどが含まれることを考えると、これはオーストラリアのテクノロジー市場に対する大規模な信任投票となります。

次に、レイテンシーについて話しましょう。

現在、最先端の AI モデルを使用すると、リクエストはコンピューターから海底のケーブルを介して米国の大規模なデータセンターに送信され、処理されてから、ずっと戻ってきます。この往復時間により、プロセスに大幅な遅れが生じます。これがテキストの場合は大きな問題ではありませんが、よりリアルタイムのマルチメディア アプリケーションに移行すると、遅延が大幅に増加する可能性があります。

Groq のハードウェアを物理的にシドニーに配置することで、ネットワークの遅延がなくなりました。オーストラリアで AI アプリケーションを構築している開発者にとって、これは状況を大きく変えるものです。

これにより、これまで不可能だったリアルタイム AI アプリケーションの新たな波が開かれる可能性があります。中断して自然に応答できる AI を活用したカスタマー サービス エージェント、気まずい一時停止のないリアルタイムの言語翻訳、コードを瞬時に提案する開発者ツールを考えてみましょう。

主権AIの利点

パズルの 2 番目のピースは「主権者」という言葉です。

金融、医療、防衛部門などの機密データを取り扱う企業は、オーストラリア国外へのデータ送信が制限されていることがよくあります。これは、米国でホストされている世界最高の AI ツールの多くを使用できなくなったことを意味します。

Groq は、この高性能 AI ハードウェアをオーストラリア国内でホストすることで、これらの重要な産業に、データ セキュリティや主権を犠牲にすることなく次世代 AI を活用する方法を提供しています。

詳細については、https://groq.com/ をご覧ください。