Google は、ユーザーによってトリガーされるフェッチャーのリストを、Google NotebookLM の新しいドキュメントで密かに更新しました。この一見小さな変更の重要性は、Google NotebookLM が robots.txt に従わないことが明らかであるということです。
Google ノートブックLM
NotebookLM は、ユーザーが Web ページの URL を追加できるようにする AI リサーチおよびライティング ツールです。これにより、コンテンツが処理され、さまざまな質問をしたり、コンテンツに基づいて概要を生成したりできるようになります。
Google のツールを使用すると、Web サイトからトピックを整理し、そこから重要な点を抽出するインタラクティブなマインド マップを自動的に作成できます。
ユーザートリガーのフェッチャーが Robots.txt を無視する
Google User-Triggered Fetcher は、ユーザーによってトリガーされる Web エージェントであり、デフォルトでは robots.txt プロトコルを無視します。
Google のユーザートリガーフェッチャーによると ドキュメント:
「フェッチはユーザーによって要求されたため、これらのフェッチャーは通常、robots.txt ルールを無視します。」
Google-NotebookLM は Robots.txt を無視します
robots.txt の目的は、Web ページのインデックスを作成するボットを発行者が制御できるようにすることです。ただし、Google-NotebookLM フェッチャーのようなエージェントは、Web コンテンツのインデックスを作成しているのではなく、Google の NotebookLM を通じて Web サイトのコンテンツを操作するユーザーの代わりに動作します。
NotebookLM をブロックする方法
Google が使用しているのは、 Google-NotebookLM Web サイトのコンテンツを抽出するときのユーザー エージェント。したがって、ユーザーが自社のコンテンツにアクセスできないようにしたいパブリッシャーは、そのユーザー エージェントを自動的にブロックするルールを作成する可能性があります。たとえば、WordPress 発行者にとっての簡単な解決策は、Wordfence を使用して、Google-NotebookLM ユーザー エージェントを使用しているすべての Web サイト訪問者をブロックするカスタム ルールを作成することです。
これを行うもう 1 つの方法は、次のルールを使用して .htaccess を使用することです。
RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM の RewriteEngine [NC]
リライタルール。 * – [F,L]
#GoogleNotebookLM #が #Robots.txt #を無視することを静かに通知