Cloudflareの新しいツールにより、サイトはAIボットを無料で検出してブロックできる

Dark Visitors の創設者 Gavin King 氏によると、主要な AI エージェントのほとんどは今でも robots.txt に従っている。「かなり一貫しています」と彼は言う。しかし、すべての Web サイト所有者が robots.txt ファイルを定期的に更新する時間や知識を持っているわけではない。また、たとえそうしていたとしても、一部のボットはファイルの指示を無視する。「トラフィックを偽装しようとするのです」

プリンス氏は、Cloudflare のボットブロックは、この種の悪質な行為者が無視できるような命令ではないと語る。「robots.txt は『立ち入り禁止』の標識を立てるようなものだ」と同氏は言う。「これは物理的な壁を武装警備員が巡回しているようなものだ」。違法な価格監視に使用される価格スクレイピングボットなど、他の種類の疑わしい Web 行動を警告するのと同様に、同社は最も注意深く隠された AI クローラーさえも見つけ出すプロセスを作成した。

Cloudflare はまた、顧客が AI 企業とスクレイピングの利用規約を交渉するためのマーケットプレイスを近々開設すると発表している。コンテンツの使用料の支払いや、スクレイピングと引き換えに AI サービスを使用するためのクレジットの交換などが含まれる。「取引内容は特に気にしていませんが、元のコンテンツ作成者に価値を還元する方法が必要だと考えています」とプリンス氏は言う。「報酬は金銭である必要はありません。報酬はクレジットや認知度でかまいません。さまざまなものが考えられます。」

この市場を立ち上げる日付は決まっていないが、今年中に開始されたとしても、ますます 混雑したフィールド プロジェクトの目的 ライセンス契約を促進する AI 企業、出版社、プラットフォーム、その他の Web サイト間のその他の許可の取り決め。

AI 企業はこのことをどう受け止めているのだろうか? 「私たちはほとんどの企業と話をしましたが、彼らの反応は『これは理にかなっているし、受け入れる』から『地獄に落ちろ』までさまざまでした」とプリンス氏は言う。(ただし、名前は挙げなかった。)

このプロジェクトは、かなり迅速に進められた。プリンス氏は、このプロジェクトのきっかけとなったのは、アトランティックの CEO (元 WIRED 編集長) ニック・トンプソン氏との会話だと述べている。トンプソン氏は、多くの出版社が不正な Web スクレイパーに遭遇したことを話していた。「彼がそれをやっているのは素晴らしい」とトンプソン氏は言う。大手メディア組織でさえスクレイパーの流入に対処するのに苦労しているのなら、独立系ブロガーや Web サイト所有者はもっと苦労するだろうとプリンス氏は推論した。

Cloudflareは長年にわたりウェブセキュリティのリーディングカンパニーであり、ウェブを支えるインフラの大部分を提供しています。同社はこれまで、自社のサービスの対象であるウェブサイトのコンテンツについて可能な限り中立的な立場を保ってきました。 まれな機会 同社はその規則に例外を設けているが、プリンス氏は、クラウドフレアがオンラインで何が許可されるかを決定する立場になることを望んでいないと強調している。

ここで、彼は Cloudflare が独自の立場をとっていると考えている。「私たちが進んでいる道は持続可能ではありません」とプリンス氏は言う。「願わくば、私たちは、人間が仕事に対して報酬を得られるよう、その一翼を担うことができればと思います。」