訓練用爬蟲
GPTBot 是由 OpenAI 營運的機械人，會收集用於訓練 AI 模型的網頁。資料用於訓練現有及未來的模型，並已移除付費牆內容、個人身分資料（PII）及違反公司政策的資料。此機械人遵守 robots.txt；如請求聲稱來自 GPTBot，可用的核實依據為已公布的 IP 範圍檔案。
請求聲稱
"GPTBot/1.2"
核對依據
OpenAI 的已公佈的 IP 範圍
即時檢查
貼上日誌記錄中的地址，系統會與營運者公布的資料核對。
參考資料
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot |
|---|---|
| 營運者 | OpenAI |
| 用途 | 抓取資料以訓練 OpenAI 的產品。 |
| 遵守 robots.txt | 遵守 |
| 驗證方法 | IP 範圍已公布的 IP 範圍檔案 OpenAI 以 JSON 檔案公佈 GPTBot 的出站 IP 範圍。將請求 IP 與該檔案比對即可；並無反向 DNS 慣例。 |
| 爬取模式 | 未公布 |
| robots.txt 標記 | GPTBot |
| 營運者文件 | https://platform.openai.com/docs/bots |
資料用於訓練現有及未來的模型，並已移除付費牆內容、個人身分資料（PII）及違反公司政策的資料。
robots.txt
選擇其中一項，貼到網域根目錄。規則按標記分別設定。
User-agent: GPTBot
Disallow: /User-agent: GPTBot
Allow: /User-agent: GPTBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search請修改 Disallow 路徑，使其符合你的網址。
FAQ
GPTBot 是由 OpenAI 營運的機械人，會收集用於訓練 AI 模型的網頁。資料用於訓練現有及未來的模型，並已移除付費牆內容、個人身分資料（PII）及違反公司政策的資料。此機械人遵守 robots.txt；如請求聲稱來自 GPTBot，可用的核實依據為已公布的 IP 範圍檔案。
是。營運者的文件說明 GPTBot 會讀取 robots.txt，並遵守針對其標記的 Disallow 規則。規則會在下次擷取該檔案時生效，可能是發布後數小時或數天。
OpenAI 以 JSON 檔案公佈 GPTBot 的出站 IP 範圍。將請求 IP 與該檔案比對即可；並無反向 DNS 慣例。參考資料發布於 https://openai.com/gptbot.json。
在 robots.txt 中為標記 GPTBot加入 Disallow: /。如該爬蟲不遵守 robots.txt，請改為在 CDN 或反向代理伺服器比對 user agent，並在該處回傳 403。
封鎖 GPTBot 可使你的網頁不被納入下一輪訓練。此舉不會刪除已收集的內容，亦不會影響網站在一般搜尋中的排名。