自主代理程式
Claude-Web 是由 Anthropic 營運的機械人,會自行瀏覽網絡以完成多步驟任務。Claude-Web 是由 Anthropic 營運的 AI 相關代理。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Claude-Web,可用的核實依據為已公布的 IP 範圍檔案。
請求聲稱
"Claude-Web"
核對依據
Anthropic 的已公佈的 IP 範圍
即時檢查
貼上日誌記錄中的地址,系統會與營運者公布的資料核對。
參考資料
| User agent | Claude-Web僅為標記:以子字串比對。 |
|---|---|
| 營運者 | Anthropic |
| 用途 | 自主代理程式 |
| 遵守 robots.txt | 未有政策 |
| 驗證方法 | IP 範圍已公布的 IP 範圍檔案 這是早於現行 ClaudeBot 命名的舊標記。網站擁有者仍會在舊日誌及舊 robots.txt 檔案中看到它;信任前請先核對已公佈的前綴檔案。 |
| 爬取模式 | 未公布 |
| robots.txt 標記 | Claude-Web |
| 營運者文件 | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude-Web 是由 Anthropic 營運的 AI 相關代理。由於沒有官方文件,其確切用途目前仍不清楚。如能提供更多資料,請與我們聯絡。
robots.txt
選擇其中一項,貼到網域根目錄。規則按標記分別設定。
User-agent: Claude-Web
Disallow: /User-agent: Claude-Web
Allow: /User-agent: Claude-Web
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search請修改 Disallow 路徑,使其符合你的網址。
封鎖 Claude-Web 可阻止自動化工作階段像已登入用戶一樣填寫表格、逐步完成流程及閱讀網頁。在此情況下,速率限制和驗證挑戰通常比 robots.txt 規則更有效。
為所有爬蟲建立檔案FAQ
Claude-Web 是由 Anthropic 營運的機械人,會自行瀏覽網絡以完成多步驟任務。Claude-Web 是由 Anthropic 營運的 AI 相關代理。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Claude-Web,可用的核實依據為已公布的 IP 範圍檔案。
未有文件記載。營運者並無說明 Claude-Web 是否讀取 robots.txt,因此請加入規則,並在日誌中確認請求確實停止。
這是早於現行 ClaudeBot 命名的舊標記。網站擁有者仍會在舊日誌及舊 robots.txt 檔案中看到它;信任前請先核對已公佈的前綴檔案。參考資料發布於 https://claude.com/crawling/bots.json。
在 robots.txt 中為標記 Claude-Web加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。
封鎖 Claude-Web 可阻止自動化工作階段像已登入用戶一樣填寫表格、逐步完成流程及閱讀網頁。在此情況下,速率限制和驗證挑戰通常比 robots.txt 規則更有效。