1754353314
2025-08-04 16:37:00
AIサービスの困惑 インターネット上の自動データ収集のための確立されたルールを遵守しないと批判されています。ネットワークサービスプロバイダーのCloudFlareが報告しているように、自動化されたプログラムで検索するrobots.txtファイルを明示的に禁止する場合、Webサイトのコンテンツにもアクセスする必要があります。 そのようなルールはそうするのに役立ちますサーバーの負荷を減らすか、機密コンテンツを保護します。
テストでは、CloudFlareは、困惑が正式に宣言されたCrawlerでアクティブであるだけでなく、指定されていないIPアドレスと操作されたブラウザ識別子を介して代替アクセスを使用することを実証することができました。
とりわけ、ユーザーエージェントがMac上のGoogle Chromeブラウザーを模倣するために使用されました。このカモフラージュは、明らかにアクセス制限を避けるのに役立ちます。 CloudFlareによると、毎日数百万のこのような隠れた問い合わせが登録されています。
行動は一般的な基準と矛盾しています
CloudFlareは、観察されたアプローチで1つを見ます 適用される規範の明確な違反 自動アクセスを扱う際。 Openaiなどの深刻なプロバイダーは、ボットを明確にマークし、固体IP領域を使用し、アクセス禁止に付着していますが、困惑はこの慣行に意識的に違反しているようです。比較テストでは、Openais ChatGptはブロッキングの指示を尊重し、さらにアクセスする試みを放棄しました。
動作を確認するために、CloudFlareは、検索エンジンで公開されておらず、インデックス付けされていないいくつかの新しく登録されたテストサイトを作成していました。それにもかかわらず、当惑はこれらのページの詳細なコンテンツを発行することができました。このことから、CloudFlareは、ロックにもかかわらず自動録音が行われたに違いないと結論付けています。
ウェブサイトオペレーターの保護対策
CloudFlare独自の情報によると、技術的な対策が行われました。検証済みのボットのリストから困惑を除去することに加えて、隠されたクロールを防ぐために、新しい識別パターンが保護システムに統合されました。ウェブサイトオペレーター CloudFlaresボット管理 使用はすでに保護されている必要があります。また、自動化されたアクセスをフィルタリングするか、ユーザーに確認するように要求するルールを設定することもできます。
#困惑はアクセスルールを超えていると言われていますするとかifun.de