Cloudflare 宣佈推出新設置“Disallow AI Training”，允許管理員繼續接受搜索引擎爬取，同時拒絕網站內容用於 AI 訓練。蘋果、谷歌和微軟已承諾遵守該設置。

網站管理員啓用該設置後，Cloudflare 仍會允許用於搜索、AI 訓練的混合爬蟲抓取內容，但前提是系統將其標記爲“Accountable”（可問責），其他 AI 訓練爬蟲仍會被攔截。官方表示，攔截這類爬蟲有可能影響網站的搜索排名。

Cloudflare 表示，大多數客戶無需進行任何更改：此前在 Training 中選擇“Block”或“Block on pages with ads”的網站，會自動遷移至“Disallow AI Training”。

此外，谷歌將在未來幾周推出 Google-Extended 的 URL 層級透明度工具，蘋果也在開發自己的 URL 層級工具，微軟則計劃於 2027 年初支持通過 robots.txt 拒絕 AI 訓練。