JavaScript で UTF-8 文字列をどれくらい速く検証できますか? – ダニエル・レミアのブログ

ディスクまたはネットワークからテキスト コンテンツを復元する場合、それが UTF-8 の Unicode 文字列であることが期待される場合があります。 最も一般的な形式です。 残念ながら、すべてのバイト シーケンスが有効な UTF-8 であるわけではなく、検証せずに無効な UTF-8 を受け入れるとセキュリティ リスクが発生します。

JavaScript ランタイムで UTF-8 文字列を検証するにはどうすればよいでしょうか?

valid-8 モジュールを使用することもできます。

import valid8 from "valid-8";
if(!valid8(file_content)) { console.log("not UTF-8"); }

もう 1 つの推奨されるアプローチは、TextDecoder がエラー時に例外をスローできるという事実を利用することです。

new TextDecoder("utf8", { fatal: true }).decode(file_content)

または、Node.js および Bun の一部である isUtf8 関数を使用することもできます。

import { isUtf8 } from "node:buffer";
if(!isUtf8(file_content)) { console.log("not UTF-8"); }

Node.js の現在の isUtf8 関数は次のように実装されました。 ヤギズ・ニジプリ。 以下の simdutf ライブラリを使用します。 UTF-8 検証アルゴリズムの功績は John Keizer にあると考えられます。