Ophalers voor assistenten
ChatGPT-User is een bot van OpenAI die op verzoek losse pagina's ophaalt voor een AI-assistent. ChatGPT-User is de webcrawler van OpenAI die websites bezoekt wanneer gebruikers van ChatGPT om informatie vragen. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als ChatGPT-User kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Verzoek meldt
"ChatGPT-User/1.0"
Gecontroleerd aan de hand van
gepubliceerde IP-bereiken van OpenAI
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot |
|---|---|
| Beheerder | OpenAI |
| Doel | Ophalers voor assistenten |
| Respecteert robots.txt | Respecteert |
| Verificatiemethode | IP-bereikenGepubliceerd bestand met IP-ranges Een fetch start wanneer iemand ChatGPT naar een URL vraagt. Het verkeer komt daardoor in pieken en niet als gelijkmatige crawl. De uitgaande IP-ranges worden als JSON gepubliceerd. |
| Crawlpatroon | Alleen op verzoek van een gebruiker. |
| robots.txt-tokens | ChatGPT-User |
| Documentatie van de beheerder | https://platform.openai.com/docs/bots |
ChatGPT-User is de webcrawler van OpenAI die websites bezoekt wanneer gebruikers van ChatGPT om informatie vragen. Zo kan ChatGPT links in zijn antwoorden opnemen.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: ChatGPT-User
Disallow: /User-agent: ChatGPT-User
Allow: /User-agent: ChatGPT-User
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je ChatGPT-User blokkeert, krijgt iemand die naar een van je URL's vraagt een foutmelding in plaats van een samenvatting. Dat is een afweging tussen support en reputatie, niet een kwestie van training.
Maak een bestand voor alle crawlersFAQ
ChatGPT-User is een bot van OpenAI die op verzoek losse pagina's ophaalt voor een AI-assistent. ChatGPT-User is de webcrawler van OpenAI die websites bezoekt wanneer gebruikers van ChatGPT om informatie vragen. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als ChatGPT-User kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Ja. De beheerder documenteert dat ChatGPT-User robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Een fetch start wanneer iemand ChatGPT naar een URL vraagt. Het verkeer komt daardoor in pieken en niet als gelijkmatige crawl. De uitgaande IP-ranges worden als JSON gepubliceerd. De referentie is gepubliceerd op https://openai.com/chatgpt-user.json.
Voeg het token ChatGPT-User toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je ChatGPT-User blokkeert, krijgt iemand die naar een van je URL's vraagt een foutmelding in plaats van een samenvatting. Dat is een afweging tussen support en reputatie, niet een kwestie van training.