科学＆テクノロジー

AnthropicとOpenAIがウェブから情報を大量収集してもほぼ還元していない実態を示すCloudflare最新データ | Business Insider Japan

テック企業はかつて、情報の取得先にユーザーを誘導していた。ウェブサイト側はリファラル（送客）という見返りがあることを前提にデータを無料で提供し、サイトに誘導されてきたユーザーに対する広告表示やサブスクリプション契約の獲得を通じて、提供したデータに見合う収益を得てきた。ウェブの世界ではそうした取引関係で結ばれた大きな図式が成立していたが、新たな生成AIの世界ではそれが崩壊しつつある。AI回答エンジンやAIチャットボットはユーザーに直接クエリに対する回答を提示するため、その生成と検証に際して参照されたウェブサイトにまでユーザーが遡及して訪問する可能性は低くなっている。Microsoft Excel世界選手権2025年大会の優勝者が語った、業務ユーザーへの最も重要なアドバイス | Business Insider Japan世界のインターネットトラフィックの約20％をプロキシ（＝アクセスを代理や仲介）するクラウドフレアは、大手テック企業のクローラーボットによるHTTPリクエストと、それらの企業（の運営するプラットフォーム）からデータ取得先のウェブサイトへのリファラルトラフィックを2025年から計測している。クローリングトラフィックとリファラルトラフィックの比率は、テック企業がウェブからどれだけのものを得て、どれだけのものを返しているかを示す有用な指標と言える。例えば、あるテック企業について、クローリング対リファラルの比率が100対1だとすれば、その企業はウェブサイトを100件クロールするたびにユーザーを1回送客していることを意味する。これはAI時代におけるテック企業の倫理性を測る一つの尺度になり得ると筆者は考えるが、どうだろうか。判断は読者に委ねたい。【独自】グーグル共同創業者のペイジ氏、富裕税回避でカリフォルニア州を脱出。関係企業も全面移転 | Business Insider Japan下の【図表1】は今年1月1〜7日の1週間に計測されたクラウドフレアのデータだ。【図表1】リファラル（送客）トラフィック1件当たりのクローラーボットのHTTPリクエスト数。クラウドフレア（CloudFlare）提供のデータから作成。アンディ・キエルシュ/Business Insider見ての通り、アンスロピック（Anthropic）は6万5000対1と際立っている。ウェブサイトへの送客をはるかに上回る量のデータをウェブサイトから収集していると言える。クラウドフレアのデータによれば、アンスロピックのクローリングトラフィック比率は2025年9月の最初の1週間と比較しても拡大している。オープン（Open）AIもアンスロピックとの比較では目立たないものの、比率は1400対1と、ウェブサイトから収集しているデータなりバリューなりの方が圧倒的に大きい。アンスロピック同様にオープンAIもクローリングトラフィックの比率が拡大傾向にある。【独自】メタCTO「この1年で最も重要な」メタバース部門会議を開催へ。異例の全員出社求める | Business Insider Japan2024年9月中旬のBusiness Insider記事は、まさにこうしたクローラーボットによるトラフィックの増大が引き起こす問題を指摘したものだ。上記の記事でダリウス・ラフィヤン記者はアンスロピックやオープンAIのクローラーボットによる大量のトラフィックがウェブサイトの運営者や所有者にとって大きな負担となっている実態を明らかにした。記事に登場したウェブ開発者は、顧客企業のサイトリニューアル作業後にアンスロピックのクローラーが殺到して「大量の無意味なトラフィック」を発生させたことで、客先の（従量課金制の）クラウド料金が「前月比で倍増した」とラフィヤン記者に語っている。言ってみれば、AI開発を手がけるテック企業はウェブからより多くを得てより少なく返すにとどまらず、一部のウェブサイト運営・所有者に高額な請求書まで押しつけていることになる。自動運転タクシー業界で2025年に何が起きたか、2026年に何が起きるのか | Business Insider Japan筆者はアンスロピックに対し、これほど多くのクローラーボットを放ってデータを収集しておきながら、なぜこれほどウェブサイト側への送客による還元が少ないのかをメール経由で質問したが、返答は得られなかった。実は、同社に同じ質問を送ったのは9月に続いて2回目だ。前回は、クラウドフレアが算出したクローリングとリファラルのトラフィック比率をアンスロピック側では確認できず、算出の手法に何かしら「問題」があるのではないかとの回答があった。アンスロピックからの回答メールには、会話型AI『クロード（Claude）』にウェブ検索機能を追加した2025年3月以降、ウェブサイトへのリファラルトラフィックが急増しているとの追加説明も記載されていた。オープンAIにもコメントを求めたが得られなかった。また、先の【図表1】でグーグル（Google）の比率が5対1と極端に低いのは、同社が提供する従来型の検索エンジンではまだ検索結果にウェブサイトへのリンクが明確に表示されるからだろう。とは言え、グーグル検索においても、検索結果の最初に「AIによる概要」が表示される（2024年8月以降）など、AIチャットボット的な回答手法が導入されており、その影響はこれから可視化されていくものと思われる。グーグルは近頃、ウェブへの送客を継続しており、エコシステムの健全性を重視する姿勢に変化がないことを強調している。なお、一つ補足しておくと、クラウドフレアが算出したクローリングとリファラルの比率はウェブのみを計測対象としており、（iOSやAndroidなどの）ネイティブアプリ経由のトラフィックは含まれていない。 #AnthropicとOpenAIがウェブから情報を大量収集してもほぼ還元していない実態を示すCloudflare最新データ #Business #Insider #Japan