核物理学の実験からの大規模なデータセットの分析には、処理に数時間または数日かかる場合がありますが、研究者はエネルギー省のローレンスバークレーとオークリッジ国立研究所で開発されている特別なソフトウェアを使用して、その時間をわずか数秒に短縮するために取り組んでいます。
このソフトウェアにより、Gretaは、大規模なデータセットを数秒で分析することを目的として、国の主要なコンピューティングセンターにデータを直接ストリーミングできます。データは、Energy Sciences NetworkまたはESNETを介して送信されます。このリアルタイム分析により、研究者は実験が行われているときに実験を批判的に調整することができ、科学的生産性が大幅に速く、より正確な結果をもたらすことができます。
「私たちの主な目標は、ローカルコンピューティングインフラストラクチャを構築することなく、将来の実験ニーズのためのデータパイプラインを確立することです。パイプラインは、オンラインで実行される分析の量を増やすこともできます」 「しかし、Deleriaを他の研究施設や幅広い科学的アプリケーションと連携するように拡大できることも示すつもりです。」
衝突は毎秒数十万の光子を放出します。光子が結晶に当たるたびに、分析のために相互作用が記録され、パイプライン上に送信されます。このプロセスは、最終的には、サンプルの核内の陽子と中性子がどのように配置され、どのように動作するかを明らかにするために使用されます。
光子のエネルギーと調整を計算し、研究者にとって意味のある方法で情報を処理するには、重要なコンピューティングリソースが必要です。
「データパイプラインを確立することで、重いコンピューティングを国立研究所のデータセンターにオフロードすることができます。したがって、GRETAへの潜在的なアップグレードのためにまったく新しいコンピューティングシステムを構築する代わりに、単に1つに接続することができます」とヤンセンは言いました。 「そして、核物理学の観点から、これはGretaをアップグレードするためのオプションと、Deleriaソフトウェアプラットフォームを活用できる他の施設の機器を提供します。」
テスト…テスト。
ヤンセンと彼の同僚は、ORNLにあるDOEオフィスの科学ユーザー施設であるOak Ridge Leadership Computing Facilityの同僚と、Greta Data Pipelineのテストベッドを構築しました。 Berkeley Labでは、Greta Detectorアレイの仮想バージョンがPhoton衝突イベントをシミュレートし、データを介して送信します esnet、2,000マイル以上離れたOLCFのコンピューティングクラスターに。
「検出器内の結晶には、多くの電気接点が接続されています。光子が結晶の1つに当たると、各接触点に電気信号が出ます」とヤンセンは言いました。 「私たちは、光子がクリスタルの内部である場所を把握する必要があります – X、Y、Z座標。そして、衝突から10秒以内にそれを行う必要があります。それがパイプラインを設計したことです。」
パイプラインの処理能力は、OLCFによって提供されます 反抗的、36ノードAMD GPUアクセラレーションコンピューティングクラスター。 Defiantの仕事は、数字を計算して光子衝突のx、y、z座標を決定し、保管または追加分析のために処理されたデータをBerkeley Labに送り返すことです。また、Deleriaは、保存されたデータの量を97.5％、つまり40xの係数を大幅に削減します。
テストベッドは、毎秒約480,000の光子衝突イベントを生成および分析できます。データは、そこに4,000マイル以上、そして再び戻って1回、10秒以内に処理する必要があります。
#新しいデータストリーミングソフトウェアはアクセラレータからスーパーコンピューターまでの光速度を追いかけます