AI 爬蟲 robots.txt 產生器

為每個爬蟲標記加入一個規則組：先以 User-agent 行指明爬蟲，再在其下加上 Disallow: /。robots.txt 並無代表「AI 爬蟲」的萬用字元，因此要真正選擇退出，就必須列出現時使用中的全部 153 個標記，包括別名。本產生器輸出的正是這些內容。

只要封鎖的對象正確，便不會。Googlebot、Bingbot 及其他一般搜尋爬蟲並非 AI 爬蟲，亦不在此清單內，因此這裏的規則完全不影響網站排名。真正會令流量減少的，是封鎖 AI 搜尋爬蟲：網站會因此從這些引擎生成的答案中消失。這與選擇退出模型訓練是兩個不同的決定。

訓練爬蟲收集的網頁最終會進入模型的訓練語料；AI 搜尋爬蟲則為答案引擎建立引用來源所用的索引。封鎖前者是大多數出版商所指的選擇退出，本頁涵蓋 61 個此類標記。封鎖後者則會令你從答案中消失。本頁的預設組合會封鎖訓練及數據集收集，而不影響答案引擎。

部分會，但大多未經證實。在此列出的 153 個標記中，有 9 個有記錄顯示完全無視 robots.txt，另有 90 個從未公布任何政策，而這並不等於承諾遵守。robots.txt 只是一項請求；凡需要強制執行的，都必須在處理請求時直接檢查。

因為這決定規則能否強制執行。在 153 個標記中，只有 34 個公布了可供核對的 IP 範圍檔案、反向 DNS 慣例或營運者 ASN；其餘 119 個則任何人都可以填入任何 user agent 標頭。封鎖這些標記作為表明立場仍然值得，但只能擋住願意被擋住的一方。

需要。robots.txt 按 user agent 標記比對，因此指明 ClaudeBot 的規則對自稱 Claude-Web 的請求毫無作用。本產生器輸出的每條規則，除爬蟲的現用名稱外亦涵蓋其別名，因此輸出內容會比你勾選的爬蟲數目為長。

放在網域的根目錄，即 https://example.com/robots.txt，並以純文字形式提供。規則按主機及協定分別生效，因此子網域需要各自的檔案。如已有現成檔案，請把這些規則組貼入其中，而非直接替換：robots.txt 沒有引入機制，只有最後放置的檔案會生效。