自主代理程式

Claude-Web

Claude-Web 是由 Anthropic 營運的機械人,會自行瀏覽網絡以完成多步驟任務。Claude-Web 是由 Anthropic 營運的 AI 相關代理。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Claude-Web,可用的核實依據為已公布的 IP 範圍檔案。

AnthropicIP 範圍robots.txt:未有政策

即時檢查

驗證自稱為 Claude-Web 的 IP

貼上日誌記錄中的地址,系統會與營運者公布的資料核對。

參考資料

Claude-Web 概覽

Claude-Web 爬蟲的參考資料
User agentClaude-Web

僅為標記:以子字串比對。

營運者Anthropic
用途自主代理程式
遵守 robots.txt未有政策
驗證方法IP 範圍已公布的 IP 範圍檔案

這是早於現行 ClaudeBot 命名的舊標記。網站擁有者仍會在舊日誌及舊 robots.txt 檔案中看到它;信任前請先核對已公佈的前綴檔案。

https://claude.com/crawling/bots.json

爬取模式未公布
robots.txt 標記Claude-Web
營運者文件https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Claude-Web 是由 Anthropic 營運的 AI 相關代理。由於沒有官方文件,其確切用途目前仍不清楚。如能提供更多資料,請與我們聯絡。

robots.txt

允許或封鎖 Claude-Web

選擇其中一項,貼到網域根目錄。規則按標記分別設定。

封鎖 Claude-Web
User-agent: Claude-Web
Disallow: /
允許 Claude-Web
User-agent: Claude-Web
Allow: /
允許,但排除不希望被引用的頁面
User-agent: Claude-Web
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

請修改 Disallow 路徑,使其符合你的網址。

封鎖的實際代價

封鎖 Claude-Web 可阻止自動化工作階段像已登入用戶一樣填寫表格、逐步完成流程及閱讀網頁。在此情況下,速率限制和驗證挑戰通常比 robots.txt 規則更有效。

為所有爬蟲建立檔案

FAQ

Claude-Web 常見問題

Claude-Web 是甚麼?

Claude-Web 是由 Anthropic 營運的機械人,會自行瀏覽網絡以完成多步驟任務。Claude-Web 是由 Anthropic 營運的 AI 相關代理。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Claude-Web,可用的核實依據為已公布的 IP 範圍檔案。

Claude-Web 是否遵守 robots.txt?

未有文件記載。營運者並無說明 Claude-Web 是否讀取 robots.txt,因此請加入規則,並在日誌中確認請求確實停止。

如何核實請求確實來自 Claude-Web?

這是早於現行 ClaudeBot 命名的舊標記。網站擁有者仍會在舊日誌及舊 robots.txt 檔案中看到它;信任前請先核對已公佈的前綴檔案。參考資料發布於 https://claude.com/crawling/bots.json。

如何封鎖 Claude-Web?

在 robots.txt 中為標記 Claude-Web加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。

封鎖 Claude-Web 會否影響我的搜尋排名?

封鎖 Claude-Web 可阻止自動化工作階段像已登入用戶一樣填寫表格、逐步完成流程及閱讀網頁。在此情況下,速率限制和驗證挑戰通常比 robots.txt 規則更有效。

    Claude-Web(Anthropic):User Agent、IP 核實及 robots.txt | IPScanner