Trainingscrawlers
GPTBot is een bot van OpenAI die pagina's verzamelt om AI-modellen mee te trainen. De data wordt gebruikt om huidige en toekomstige modellen te trainen. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als GPTBot kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Verzoek meldt
"GPTBot/1.2"
Gecontroleerd aan de hand van
gepubliceerde IP-bereiken van OpenAI
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot |
|---|---|
| Beheerder | OpenAI |
| Doel | Scrapet data om de producten van OpenAI te trainen. |
| Respecteert robots.txt | Respecteert |
| Verificatiemethode | IP-bereikenGepubliceerd bestand met IP-ranges OpenAI publiceert de uitgaande IP-bereiken van GPTBot als JSON-bestand. Vergelijk het IP van het verzoek met dat bestand; er is geen conventie voor reverse DNS. |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | GPTBot |
| Documentatie van de beheerder | https://platform.openai.com/docs/bots |
De data wordt gebruikt om huidige en toekomstige modellen te trainen. Data achter een betaalmuur, persoonsgegevens en data die het beleid van het bedrijf schendt, worden verwijderd.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: GPTBot
Disallow: /User-agent: GPTBot
Allow: /User-agent: GPTBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je GPTBot blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.
Maak een bestand voor alle crawlersFAQ
GPTBot is een bot van OpenAI die pagina's verzamelt om AI-modellen mee te trainen. De data wordt gebruikt om huidige en toekomstige modellen te trainen. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als GPTBot kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Ja. De beheerder documenteert dat GPTBot robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
OpenAI publiceert de uitgaande IP-bereiken van GPTBot als JSON-bestand. Vergelijk het IP van het verzoek met dat bestand; er is geen conventie voor reverse DNS. De referentie is gepubliceerd op https://openai.com/gptbot.json.
Voeg het token GPTBot toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je GPTBot blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.