CloudFlareは、デフォルトでAIクローラーをブロックしています

昨年、インターネット インフラ企業CloudFlare 発売されたツール 顧客がAIスクレーパーをブロックできるようにします。今日、同社は許可されていない段階をさらに削り取ることとの戦いをしています。デフォルトで顧客のためにAIクローラーをブロックすることに切り替え、顧客がAI企業にWebサイトをこすり付けるように請求できるクロールごとの給与プログラムを前進させています。

Web Crawlersは、何十年もの間、インターネットを情報のためにトロールしてきました。それらがなければ、人々はGoogle検索からインターネットアーカイブの非常に貴重なものまで、極めて重要なオンラインツールを失うでしょう デジタル保存作業。しかし、AIブームはAIに焦点を当てたWebクローラーで対応するブームレットを生成し、これらのボットはWebページを削って、できる頻度でWebページを削ります DDOS攻撃を模倣します、 緊張サーバー そして オフラインでWebサイトをノックします。 Webサイトが強化されたアクティビティを処理できる場合でも、多くのアクティビティがあります 欲しくない AIクローラーはコンテンツ、特にAI企業に仕事を使用するために支払うことを要求しているニュース出版物を削ります。 「私たちは自分自身を保護しようとしています」と、数千の北米のアウトレットを代表するThe Trade Group News Media Allianceの社長兼CEOであるDanielle Coffey氏は言います。

これまでのところ、CloudFlareのAIコントロール、プライバシー、およびメディア製品の長は、Will Allen氏に、100万件以上の顧客Webサイトが古いAI-Botブロッキングツールをアクティブにしていると語っています。現在、数百万人がボットブロッキングをデフォルトとして保持するオプションがあります。 CloudFlareはまた、AI企業によって公表されていない「影」スクレーパーさえも識別できると述べています。同社は、行動分析、フィンガープリント、および機械学習の独自の組み合わせを使用して、AIボットを「良い」ボットから分類し、分離することを使用していると述べました。

ロボット除外プロトコルと呼ばれる広く使用されているWeb標準は、robots.txtファイルを介してしばしば実装され、出版社がケースバイケースでボットをブロックするのに役立ちますが、それに従うことは法的に必要ではなく、 たくさんの証拠 一部のAI企業は、スクレイパーをブロックする努力を回避しようとしています。 「robots.txtは無視されています」とコフィーは言います。によると レポート パブリッシャーがボットアクセスを介してAI企業と交渉するための独自の市場を提供するコンテンツライセンスプラットフォームTollbitから、Robots.txtを無視するスクレイピングを含むAIスクレイピングはまだ増加しています。 Tollbitは、2025年3月だけで2600万件以上の擦り傷がプロトコルを無視していることを発見しました。

これに関連して、デフォルトでのブロッキングへのCloudFlareのシフトは、秘密のスクレーパーへの重要な障害を証明する可能性があり、出版社がクロールあたりの給与プログラムなどを通じて、より多くのレバレッジを交渉することができます。 「これはパワーダイナミックを劇的に変える可能性があります。この時点まで、AI企業はコンテンツのライセンスを支払う必要はありませんでした。彼らは結果なしにそれをとることができることを知っているからです」 「今、彼らは交渉しなければならず、それはより多くのより良い出版社とより良い取引を打つことができるAI企業にとって競争上の優位性になります。」

あなたは始めます プロラタCEOおよび創設者Bill Grossによると、AI検索エンジンGist.aiを運営しているAiは、給与あたりのクロールプログラムに参加することに同意しています。 「コンテンツがAIの回答で使用される場合、すべてのコンテンツクリエーターとパブリッシャーが補償されるべきであると固く信じています」とグロスは言います。

もちろん、AIスペースの大手プレーヤーがベータ版にあるCay Per Crawlなどのプログラムに参加するかどうかはまだ不明です。 （CloudFlareは現在の参加者に名前を付けることを拒否しました。）Openaiのような企業が攻撃しました ライセンス取引 有線の親会社であるCondéNastを含むさまざまな出版パートナーがいますが、これらの契約の具体的な詳細は、契約がボットアクセスをカバーするかどうかなど、明らかにされていません。

一方、オンラインエコシステム全体があります チュートリアル Webスクレーパーを対象としたCloudFlareのボットブロッキングツールを回避する方法について。ブロッキングのデフォルトが展開されると、これらの努力が続く可能性があります。 CloudFlareは、ロボットを妨害しないようにしたいと思う顧客が、ブロッキング設定をオフにできるようになることを強調しています。 「すべてのブロッキングは完全にオプションであり、個々のユーザーの裁量により」とアレンは言います。