Hammerspace と Parallel Works は、IT インフラストラクチャ、リサーチ コンピューティング、AI チームがサイトやクラウド全体でコンピューティング、ストレージ、データ ワークロードを調整し、バースト容量に合わせてクラウド コンピューティング リソースを拡張できるようにする統合サービスで協力しています。
Hammerspace はデータ オーケストレーション会社です。同社の Global Data Platform (GDP) は、並列 NFS ベースのファイル システム ソフトウェアを使用して、SSD、ディスク ドライブ、パブリック クラウド サービス (AWS、Google Cloud、Azure、 Seagate Lyve Cloud)、およびテープ ライブラリ。データはグローバル名前空間に配置され、ローカルであるかのように調整、配置、アクセスできます。
並行作業は、アルゴンヌ国立研究所から誕生し、オンプレミス、パブリック クラウド、ハイブリッド環境全体で HPC および AI IT リソースをプロビジョニング、管理、共有するための ACTIVATE コントロール プレーン ソフトウェアを開発しました。クロスクラウド クラスターと個別のコンピューティングとストレージのプロビジョニングをサポートします。
デビッド・フリン
Hammerspace の創設者兼 CEO である David Flynn 氏は次のように述べています。 Parallel Works を使用した統合ソリューションは、最小限の遅延でデータを常に必要な場所に確実に配置することで、操作を簡素化し、オーバーヘッドを削減し、イノベーションを加速します。
「イノベーターは、完全なワークロードを異なるコンピューティング クラスター間で移動するための機敏性を必要としています。これにより、データの準備に CPU を使用したり、処理に GPU を使用したり、追加のサイクルやコスト効率の高いクラウド リージョンにリモート クラスターにアクセスしたりする柔軟性が追加されます。」
Parallel Works の CEO、Matthew Shaxted 氏は次のように述べています。「HPC および AI ワークロード オーケストレーションに関する当社の専門知識を、Hammerspace の並列ファイル システム、グローバル名前空間、およびデータ目標と統合することで、アプリケーションの移植性を実現し、機敏なタスク配置を実現します。このアプローチにより、組織は必要な場所にリソースを効率的に割り当て、パフォーマンス、イノベーション、簡素化されたハイブリッド インフラストラクチャ管理を推進できるようになります。」
両社は、AI と HPC のワークロードには、大量のコンピューティング リソースと大規模なデータセットへの低遅延アクセスが必要になる可能性があると述べています。このようなデータとコンピューティング リソースは、多くの場合、異なる場所に分散されます。コンピューティングをデータに移動しますか、それともその逆ですか?
マシュー・シャクステッド
また、短期的なバースト コンピューティングが必要な場合は、代替のデータセンターやクラウド インフラストラクチャを使用することで、スケーラブルで弾力性のあるオプションを提供できますが、「地理的に分散した複数のクラスター間でワークロードを調整することは、特にデータがコンピューティングからリモートにある場合には、非常に複雑でした。」
彼らは次のように述べています。「この複雑さは、データ転送、ネットワーク遅延、同期を管理しながらアプリケーションを再配置する必要があることから生じており、エラーが発生しやすく時間のかかるセットアップにつながり、ほとんどのチームが管理の負担を引き受けたがっていません。」
Hammerspace の GDP と Parallel Works の ACTIVATE を組み合わせることで、ローカルおよびクラウドのコンピューティング リソースのプロビジョニングと管理を自動化し、それらへのデータ フローを調整できます。
ACTIVATE は、分散コンピューティング リソースを作成、プロビジョニング、管理するための統合コントロール プレーンです。 Slurm インスタンスのスピンアップなどのワークフローを自動化し、ジョブのスケジューリングや関連する HPC ノードを管理します。
Hammerspace の GDP は、データ オーケストレーション コントロール プレーンとして機能します。これは、高性能のファイルおよびオブジェクト ストレージを提供し、サイトとクラウドにまたがるグローバルな名前空間を作成し、データ オーケストレーション サービスを使用してその名前空間内のデータ フローを自動化します。 Hammerspace は、共有、ディレクトリ、さらには個々のファイル レベルで設定されたオーケストレーション ポリシーを使用して、HPC サーバーが存在する場所に関係なくデータを HPC サーバーに配信します。」
両社は、顧客はフルマネージドのクラウド サービスの使いやすさを実現しながら、標準のクラウド インフラストラクチャ サービスのコストでインフラストラクチャを「適切なサイズに設定」でき、マネージド Lustre などと比較して「大幅なクラウド コスト削減」を実現できると述べています。
標準的なクラウド仮想マシン上の Hammerspace の年間コストとマネージド Lustre を比較したグラフ
#Hammerspace #と #Parallel #Works #により #AIHPC #ワークロード #オーケストレーションが簡素化 #ブロックとファイル