Overige geautomatiseerde crawlers
OpenAI is een bot die automatisch het web crawlt. Het doel van deze bot is op dit moment onduidelijk, maar hij hoort bij de crawlers van OpenAI. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als OpenAI kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Verzoek meldt
"OpenAI"
Gecontroleerd aan de hand van
gepubliceerde IP-bereiken van OpenAI
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | OpenAIAlleen token: match op de substring. |
|---|---|
| Beheerder | OpenAI |
| Doel | Overige geautomatiseerde crawlers |
| Respecteert robots.txt | Respecteert |
| Verificatiemethode | IP-bereikenGepubliceerd bestand met IP-ranges Een kale "OpenAI"-token is niet een van de drie gedocumenteerde crawlers. Beschouw het als niet geverifieerd, tenzij het bron-IP voorkomt in een van de gepubliceerde bestanden met IP-bereiken van OpenAI. |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | OpenAI |
| Documentatie van de beheerder | https://platform.openai.com/docs/bots |
Het doel van deze bot is op dit moment onduidelijk, maar hij hoort bij de crawlers van OpenAI.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: OpenAI
Disallow: /User-agent: OpenAI
Allow: /User-agent: OpenAI
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je OpenAI blokkeert, stop je alleen dit specifieke token. Controleer daarna je logs, want beheerders die robots.txt negeren komen vaak terug onder een andere naam.
Maak een bestand voor alle crawlersFAQ
OpenAI is een bot die automatisch het web crawlt. Het doel van deze bot is op dit moment onduidelijk, maar hij hoort bij de crawlers van OpenAI. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als OpenAI kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Ja. De beheerder documenteert dat OpenAI robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Een kale "OpenAI"-token is niet een van de drie gedocumenteerde crawlers. Beschouw het als niet geverifieerd, tenzij het bron-IP voorkomt in een van de gepubliceerde bestanden met IP-bereiken van OpenAI. De referentie is gepubliceerd op https://platform.openai.com/docs/bots.
Voeg het token OpenAI toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je OpenAI blokkeert, stop je alleen dit specifieke token. Controleer daarna je logs, want beheerders die robots.txt negeren komen vaak terug onder een andere naam.