ZLIB-RSはcよりも高速です

バージョンをリリースしました 0.4.2 の Zlib-rs、多くの大幅なパフォーマンスの改善を特徴としています。私たちは今（私たちの知る限り）減圧のための最速のAPI互換ZLIB実装であり、最も重要な圧縮ケースの競争にも勝ちました。

私たちはaを構築しました ダッシュボード これは、他の実装と比較して現在のメインブランチのパフォーマンスを示し、時間の経過とともにパフォーマンスを追跡して、回帰をキャッチし、進捗状況を視覚化します。

この投稿では、ZLIB-RSを最新のものと比較しています zlib-nng そして、減圧のために、 Zlib-Chromium。これらは、パフォーマンスに焦点を当てた主要なC ZLIB実装です。すぐに、より技術的な詳細が記載されたブログ投稿を作成し、最も影響力のある変更を簡単にカバーします。

減圧

前回、を使用してベンチマークしました target-cpu=native フラグ。それは私たちの実装に最良の結果をもたらしましたが、私たちの錆の実装は特定のSIMD機能が利用可能になると仮定することができるため、完全に公平ではありませんでしたが、Zlib-ngは実行時にそれらを確認する必要がありました。

現在、いくつかの変更を加えて、実行時に最も最適な実装を効率的に選択できるようにしました。

多額

関数の最高のバージョンを選択することは、マルチソリオンと呼ばれます。すべてのCPUで動作するベースラインの実装があり、その後、特定のCPUで利用可能な場合と使用できない場合があるSIMD命令またはその他の機能を使用するいくつかの専門的なバージョンがあります。課題は、常に最適な実装を選択することですが、ランタイムコストは最小限です。つまり、ランタイムチェックをできるだけ少なくして、大量の作業を実行したいと考えています。

今日、マルチソリオンは錆でネイティブにサポートされていません。がある それを追加するための提案 （これは非常に興奮しています！）、今のところ、残念ながら安全でないコードが含まれる手動で実装する必要があります。これについてはすぐに書きます（焦りますが、関連するコードは ここ）。

DFAの最適化

Cコードは使用できます switch 非常に効率的なコードを生成するための暗黙のフォールスルー。 Rustはこのメカニズムに相当するものではなく、これにより、データが小さなチャンクに入ると、本当に遅くなりました。

ニキータ・ポポフは私たちが試してみることを提案しました -Cllvm-args=-enable-dfa-jump-thread ここでパフォーマンスのほとんどを回復するオプション。決定論的な有限オートマトンのために一種のジャンプスレッドを実行し、減圧ロジックがこのパターンと一致します。

LLVMは現在、このフラグをデフォルトで有効にしていませんが、最終的には計画です。また、RUSTC自体でのこの最適化のサポートを検討し、プロジェクト全体に盲目的に適用し、最高のものを期待するよりも細かく粒度を高めています。

これらの努力はの一部です 提案されたプロジェクト目標 そして Trifecta Tech Foundationのコード生成イニシアチブ。

ベンチマーク

私たちが知る限り、私たちは減圧のための今日の最速のAPI互換ZLIB実装です。 Zlib-NGを公正なマージンで倒すだけでなく、Chromiumで使用される実装よりも速くなります。

以前と同じように、私たちのベンチマークは、Silesia-Small.tarの圧縮バージョンを減圧し、状態マシンにPower-of-2サイズのチャンクの入力に供給しています。小さなチャンクサイズは、ストリーミングユースケースをシミュレートし、より大きなチャンクサイズモデルケースが完全な入力が利用可能であるケースをシミュレートします。

対zlib-nng

現在、最小のチャンクサイズを除くすべての場合、Zlib-ngよりも大幅に高速です。のチャンクサイズ 2^4 = 16 入力をバッファリングし、より大きなチャンクで減圧することができるため、バイトは実際のパフォーマンスに関連する可能性は非常に低いです。

ただし、より関連性の高いチャンクサイズでは、Zlib-Ngよりも大幅に高速です。1KBの入力では10％をはるかに超え、65kbの入力で6％を超えています。

対クロム

減圧のために、Chromiumプロジェクトで使用されるZLIB実装（見つかりました ここ、それを介して使用します の修正バージョン libz-sys）Zlib-ngよりも速いことがよくあります。ただし、最も関連性の高いチャンクサイズのこのベンチマークでも打ち負かしました。

興味深いことに、Zlib-Chromiumは塊のサイズが小さい場合にほぼ速くなりますが、より大きなチャンクサイズのパフォーマンスはZlib-Ngにかなり匹敵します。

圧縮

私たちもコンプレッションに欠けていました（叫び声を上げています ブライアンペイン、この分野で多数のPRを寄付しましたが、より多くの複雑な結果が見られます。

X86_64 Linuxでは、最も重要な圧縮レベルのいくつか、デフォルトレベルで6％、「最高の圧縮」レベル9で10％以上で高速になります。

ほとんどのユーザーにとって、減圧が最も関連性の高い操作であり、圧縮であっても、ストックZLIBよりもはるかに高速です。それにもかかわらず、私たちは引き続き圧縮性能を向上させようとします。

結論

ZLIB-RSは、Cプロジェクトでも、錆プロジェクトでも錆びたクレートとして使用できます。さびプロジェクトには、を使用することをお勧めします 1.1.0 のリリース flate2 のクレート zlib-rs 機能フラグ。 Cプロジェクトで使用するために、ZLIB-RSはCダイナミックライブラリとして構築できます（参照 説明書）そして、今日Zlibを使用しているプロジェクトで使用されています。

私たちの実装はほとんど行われており、明らかに非常にうまく機能します。しかし、私たちはいくつか欠けています あまり一般的ではないAPI関数 すべての場合に完全なドロップイン交換になるGZIPファイルに関連しています。

作業を完了し、パフォーマンスを改善し、たとえばパッケージングを改善するために、95.000ユーロの金額の資金を求めています。を参照してください 職場 詳細については。

お願いします お問い合わせ ZLIB-RSの財政的にサポートすることに興味がある場合。