インターネットアーカイブ、ハーバードライブラリは、リスクのある連邦データを保存します

トランプ政権が1月下旬に米国に就任した直後、いくつかの政府のウェブサイトとデータベースで8,000ページ以上が削除されました。 ニューヨークタイムズ 見つかった。これらの多くは現在復元されていますが、たとえば、数千のページがジェンダーや多様性のイニシアチブへの言及を削除されました。

2月11日までに、a 連邦判事は裁定した 政府機関は、疾病管理予防センター（CDC）および食品医薬品局（FDA）によって維持されているページおよびデータセットへのパブリックアクセスを回復しなければならないこと。多くの科学者がパニックでオンラインアーカイブに逃げましたが、皮肉なことに、彼の司法省は、削除された情報があったために訴訟を起こした医師は害を受けなかったと主張していた インターネットアーカイブで入手できますのウェイバックマシン。これに応じて、連邦判事 書いた、「裁判所は説得されていません」と、ユーザーはそれを表示するためにアーカイブされたページの元のURLを知っている必要があると述べています。

政権の法的議論は「少し興味深い称賛でした」と言います。 マーク・グラハム、裁判官の判決が「適切」であると考えているウェイバックマシンのディレクター。 過去数週間にわたって、インターネットのアーカイブやその他のアーカイブサイトは、政府のデータベースとウェブサイトを保存することに注目してきました。しかし、これらのプロジェクトは何年も進行中です。たとえば、インターネットアーカイブは、ほぼ30年前に知識への普遍的なアクセスを提供することに専念する非営利団体として設立され、現在は毎日10億以上のURLを記録しています、とGrahamは言います。

2008年以来、インターネットアーカイブはアクセス可能なコピーもホストしています タームウェブアーカイブの終わり、管理が変更される前後に連邦政府のサイトに変更された文書化を記録するコラボレーション。最新のコレクションでは、すでに500を超えるテラバイトの材料をアーカイブしています。

補完的なクロール

インターネットアーカイブの強みは規模です、とグラハムは言います。 「私たちは頻繁にできます [preserve] 大規模な物事。しかし、分析の深い経験はありません。」一方、環境データおよびガバナンスイニシアチブやヘルスケアジャーナリスト協会などのグループは、変更を特定して文書化する活動家と学者に支援を提供します。

ハーバード大学ロースクールの図書館イノベーションラボも、 data.govのアーカイブ、311,000を超えるパブリックデータセットを含む16 TBコレクションで、新しいデータで毎日更新されています。このプロジェクトは2024年後半に始まり、図書館は他のWebクロールでデータセットがしばしば見逃されていることに気付いたとき、 ジャック・クッシュマン、ソフトウェアエンジニアであり、図書館イノベーションラボのディレクター。

「JavaScript、ボタン、またはフォームでやり取りしなければならないものを見逃すことができます。」 – Jack Cushman、Library Innovation Lab

典型的なクロールは、基本的なHTML、PDF、またはCSVファイルをキャプチャすることに問題はありません。しかし、データベースによって駆動されるインタラクティブなWebサービスをアーカイブすると、課題があります。たとえば、Amazonのようなサイトをアーカイブすることは不可能だとGrahamは言います。

Library Innovation Lab（LIL）がアーカイブに取り組んでいるデータセットも、キャプチャするのが難しいです。 「Webクロールを行ってリンクからリンクにクリックしている場合は、用語の終わりのように、JavaScript、ボタン、またはフォームを使用して尋ねなければならない場合は何でも見逃すことができます。許可のために、その後何かを登録またはダウンロードしてください」とクッシュマンは説明します。

「私たちは、既存のウェブクロールを補完することをしたかったのです。それが私たちがした方法は、APIに入ることでした」と彼は言います。 Webページをバイパスしてデータに直接アクセスするAPIに移動することにより、LILのプログラムは、CSV、Excel、XML、またはその他のファイルタイプなど、データセットの完全なカタログを取得し、関連するURLを引いてアーカイブを作成できます。 data.govの場合、クッシュマンと彼の同僚は、クエリごとに1,000アイテムを取得する適切な300のクエリを送信するスクリプトを書き、合計300,000のアイテムを通過してデータを収集しました。 「私たちが探しているのは、ある程度の自動化がロック解除されない多くの新しいデータのロックを解除する領域です」とクッシュマンは言います。

LILアーカイブのもう1つの重要な要素は、データが使用可能な形式であることを確認することでした。 「ウェブクロールで何かを手に入れるかもしれません [the data] 100,000のWebページにまたがっていますが、スプレッドシートや分析できるものに戻すのは非常に困難です」とCushman氏は言います。データ形式とユーザーインターフェイスの両方で使用できるようにすることで、持続可能なアーカイブの作成に役立ちます。

たくさんのコピーが物事を安全に保ちます

インターネットのデータを保存するための鍵は、頭字語Rockssに基づいている原則です。多くのコピーが安全を保ちます。

昨年10月にインターネットアーカイブがサイバー攻撃を受けたとき、アーカイブはサイト全体を監査し、セキュリティのアップグレードを実装するために3週間半の期間サイトを削除しました。 「図書館には伝統的に 常に攻撃を受けています、これも違いはありません」とグラハムは言います。 その防御の一環として、アーカイブ 現在、米国の内外の両方で、異なる物理的な場所に資料のコピーがいくつかあります

「米国政府は世界最大の出版社です」とグラハムは指摘します。それは幅広いトピックに関する資料を公開しており、「その多くは、この国だけでなく、それがエネルギー、健康、農業、安全に関するものであろうと、世界中の人々にとって有益です」。そして、多くの個人や組織がデジタルの世界の保存に貢献しているという事実は、実際には良いことです。

「目標は、これらのコピーがあなたが考えることができるあらゆるメトリック間で多様になることです。彼らはさまざまな種類のメディアにいるはずです。彼らは、さまざまな資金源を持つ異なる形式で、さまざまな人々によって管理されるべきです」とCushman氏は言います。 「バックアップ間のあらゆる形態の類似性は、損失のリスクを生み出します。」 data.govアーカイブには、クラウドサービスを通じて他の人とバックアップとして保存されている主要なコピーがあります。アーカイブには、簡単に複製できるようにするオープンソースソフトウェアも含まれています。

Cushmanは、コピーの維持に加えて、暗号化署名とタイムスタンプを含めることが重要であると言います。アーカイブが作成されるたびに、作成者のメールアドレスと時間の暗号化された証明とともに署名されているため、アーカイブの有効性を検証するのに役立ちます。

継続的な課題

トランプ大統領が就任して以来、多くの資料が米国連邦のウェブサイトから削除されました–以前の新しい政権よりも量的に多い、とグラハムは言う。しかし、世界規模では、これは前例のないものではない、と彼は付け加えます。

米国では、ビル・クリントンがインターネットアーカイブの「フリーレンジアーキビスト」であり、デジタル保存サイトアーカイブチームの共同設立者であるジェイソンスコットが述べていたため、公式の政府のウェブサイトが新規政権ごとに変更されました。 「これはもっと混oticとしている」とスコットは言う。しかし、「このウェブは非常に高いエントロピーエンティティです…グーグルは、スーパーマーケットが食品博物館であるようにアーカイブです。」

デジタルアーキビストの仕事は、特にインターネット標準の進化全体に存在していたサイトのバックログがあるため、難しいものです。しかし、これらの努力は新しいものではありません。 「ランプアップは、ディスクスペースと帯域幅のリソースのみであり、進行中のプロセスではありません」とスコットは言います。

Cushmanの場合、このプロジェクトに取り組んでいることは、パブリックデータの価値を強調しています。 「私たちが持っている政府のデータはGPS信号のようなものです」と彼は言います。 「どこに行くべきかはわかりませんが、私たちの周りに何があるかを教えてくれます。このように初めて関与することは、私たちが持っている宝物がどんな宝物を持っているかを理解するのに本当に役立ちました。」