Cloudflare は新しい設定「Disallow AI Training」をリリースしました。この設定により、管理者は検索エンジンのクローラーによる取得を引き続き許可しつつ、サイトのコンテンツをAI学習に使用することを拒否できます。Apple、Google、Microsoftはこの設定を遵守すると約束しています。

ウェブ管理者がこの設定を有効にした後でも、Cloudflareは検索やAI学習用のミックスクローラーによってコンテンツを取得することを許可しますが、そのシステムが「Accountable（責任ある）」とマークされている場合に限ります。他のAI学習用クローラーは引き続きブロックされます。公式によると、このようなクローラーをブロックすることは、ウェブサイトの検索順位に影響を与える可能性があるとのことです。

Cloudflareによると、大多数の顧客は特に変更を行う必要はありませんでした。以前に「Block」または「広告ページでのBlock」を選択していたサイトは、自動的に「Disallow AI Training」に移行されます。

また、Googleは今後の数週間以内に「Google-Extended」のURLレベルの透明性ツールをリリースする予定です。Appleも独自のURLレベルツールを開発しており、Microsoftは2027年初頭にrobots.txtを通じてAIトレーニングを拒否するサポートを計画しています。