助理擷取程式

Claude-User

Claude-User 是由 Anthropic 營運的機械人,會按需為 AI 助理擷取單一網頁。Claude-User 由 Anthropic 的 Claude AI 助理按用戶提示發出,用於擷取需要納入答案的內容。此機械人遵守 robots.txt;如請求聲稱來自 Claude-User,可用的核實依據為已公布的 IP 範圍檔案。

AnthropicIP 範圍robots.txt:遵守

即時檢查

驗證自稱為 Claude-User 的 IP

貼上日誌記錄中的地址,系統會與營運者公布的資料核對。

參考資料

Claude-User 概覽

Claude-User 爬蟲的參考資料
User agentMozilla/5.0 (compatible; Claude-User/1.0; +Claude-User@anthropic.com)
營運者Anthropic
用途助理擷取程式
遵守 robots.txt遵守來源
驗證方法IP 範圍已公布的 IP 範圍檔案

在 Claude 用戶查詢特定網頁時觸發,因此每次只請求一個 URL。與 ClaudeBot 同樣受已公佈的前綴檔案涵蓋。

https://claude.com/crawling/bots.json

爬取模式未公布
robots.txt 標記Claude-User
營運者文件https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Claude-User 由 Anthropic 的 Claude AI 助理按用戶提示發出,用於擷取需要納入答案的內容。

robots.txt

允許或封鎖 Claude-User

選擇其中一項,貼到網域根目錄。規則按標記分別設定。

封鎖 Claude-User
User-agent: Claude-User
Disallow: /
允許 Claude-User
User-agent: Claude-User
Allow: /
允許,但排除不希望被引用的頁面
User-agent: Claude-User
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

請修改 Disallow 路徑,使其符合你的網址。

封鎖的實際代價

封鎖 Claude-User 後,用戶查詢你的網址時會收到錯誤訊息,而非摘要。這是客戶支援與聲譽方面的取捨,與訓練無關。

為所有爬蟲建立檔案

FAQ

Claude-User 常見問題

Claude-User 是甚麼?

Claude-User 是由 Anthropic 營運的機械人,會按需為 AI 助理擷取單一網頁。Claude-User 由 Anthropic 的 Claude AI 助理按用戶提示發出,用於擷取需要納入答案的內容。此機械人遵守 robots.txt;如請求聲稱來自 Claude-User,可用的核實依據為已公布的 IP 範圍檔案。

Claude-User 是否遵守 robots.txt?

是。營運者的文件說明 Claude-User 會讀取 robots.txt,並遵守針對其標記的 Disallow 規則。規則會在下次擷取該檔案時生效,可能是發布後數小時或數天。

如何核實請求確實來自 Claude-User?

在 Claude 用戶查詢特定網頁時觸發,因此每次只請求一個 URL。與 ClaudeBot 同樣受已公佈的前綴檔案涵蓋。參考資料發布於 https://claude.com/crawling/bots.json。

如何封鎖 Claude-User?

在 robots.txt 中為標記 Claude-User加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。

封鎖 Claude-User 會否影響我的搜尋排名?

封鎖 Claude-User 後,用戶查詢你的網址時會收到錯誤訊息,而非摘要。這是客戶支援與聲譽方面的取捨,與訓練無關。

    Claude-User(Anthropic):User Agent、IP 核實及 robots.txt | IPScanner