Cloudflare、AIボットによるクライアントウェブサイトのスクレイピングを防ぐ機能を開始

マドリード、7月5日（Portaltic/EP） –

クラウドフレア 同社はインターネットサービスに新しい無料機能を導入し、 人工知能（AI）企業が「ウェブスクレイピング」を行うために使用するボットを自動的にブロックする。 顧客のウェブサイトからデータを収集することを防ぐためです。

生成AIの進歩の結果、 モデルのトレーニングや推論の実行に使用されるコンテンツの需要が高まっています。したがって、企業が新しいデータを取得するために使用する方法の1つは、 「ウェブスクレイピング」データのスクレイピング インターネット。

具体的には、 ソフトウェアはウェブサイトからHTMLコンテンツを抽出し、情報をフィルタリングして保存します。AI モデルのトレーニングに必要なデータを収集します。

この技術を利用したツールを開発している企業の中には、インターネットからデータを取得するために使用するウェブスクレイピングボットを特定している企業もあるが、それほど透明性が高くない企業もある。この点に関して、米国の企業Cloudflareは、 顧客は、AI ボット、特に「不正行為を行う」ボットが自社の Web サイトを訪問することを望んでいません。

この問題の解決策を提供するために、インターネットセキュリティサービスに注力している同社は、 あなたのサービスに新しい無料機能を追加 どれで ウェブサイト上で特定したすべてのAIボットを自動的にブロックします前述のデータスクレイピングを実行できないようにします。

これはCloudflareが発表した。 ウェブサイト上の声明彼は、 コンテンツクリエイターにとって安全なインターネットを維持する 顧客のウェブサイトからのデータが収集され、AI のトレーニングに使用されるのを防ぎます。

彼が指摘したように、これは「ワンクリック」で機能するツールであり、 すべてのCloudflareのお客様がご利用いただけますを含む フリーレベル あなたのサービスとして、あなたの アプリケーション 1.1.1.1 約は SASE および SSE プラットフォーム。

有効にするには、サービスの「セキュリティ」メニュー内の「ボット」セクションに移動します。その後、ユーザーは 「AIスクレーパーとクローラー」オプションをオンにするこれにより、モデルトレーニングなどの AI アプリケーション用のコンテンツをボットがスクレイピングすることがブロックされるようになります。

同様に、Cloudflare もこの機能は廃止されると説明しています。 「ウェブクローラー」として識別された不正なボットの新しい指紋を自動的に追加して更新します。 「モデルのトレーニングに強力」。これは、ネットワーク上のトラフィックを分析することで行われ、同社はAIクローラーのすべてのアクティビティに関する「包括的な」知識を得ることになる。

現在最も使用されているAIボット

同社はこの新機能に加えて、現在Webスクレイピングを実行するためのボットの使用に関して、プラットフォーム上に記録されたいくつかのデータも共有した。

したがって、彼は、彼の分析によれば、 最もよく使われるボット 彼らのネットワークには ByteDance のバイトスパイダー -TikTokの親会社-、 AmazonのAmazonボット、 ClaudeBot 作成者: Claude ええ OpenAI の GPTBotそのうち、Bytespider ボットは Cloudflare の顧客ウェブサイトの 40.40 パーセントにアクセスしようとしました。

GPTBot はそれに続き、35.46% の Web サイトにアクセスしてデータ スクレイピングを実行しています。一方、ClaudeBot は 11.17% の Web サイトにアクセスしています。

しかし、同社は、ボットによるこの活動にもかかわらず、多くの 顧客は「最も人気のあるAIクローラーが積極的に自分のウェブサイトをクロールしていることを知らないかもしれない」「」。

実際、昨年6月には、Cloudflareを使用している100万の最大のインターネットプロパティの約39％にAIボットがアクセスしたことが判明しましたが、 これらのウェブサイトのうち、そのようなリクエストをブロックする措置を講じたのはわずか 2.98 パーセントでした。

これらすべてを踏まえて、Cloudflareはインターネットを コンテンツ作成者は、「コンテンツのトレーニングや推論の実行に使用されるモデルを完全に制御し、維持することができます。」

この種の取り組みは、 その他のプラットフォーム例えば レディット、 同社は最近、 ロボット排除プロトコル (robots.txt ファイル) により、自動ボットが公開データにアクセスするのをブロックし、いわゆるデータ スクレイピングを防止します。