Autres robots automatisés
OpenAI est un bot qui explore le web de manière automatisée. La finalité de ce bot n'est pas connue pour le moment, mais il fait partie de l'ensemble des robots d'exploration d'OpenAI. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de OpenAI : un fichier de plages d'IP publié.
La requête annonce
"OpenAI"
Comparé à
plages IP publiées (OpenAI)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | OpenAIJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | OpenAI |
| Finalité | Autres robots automatisés |
| Respecte robots.txt | Respecte |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié Un jeton « OpenAI » seul ne correspond à aucun des trois robots documentés. Considérez-le comme non vérifié, sauf si l'IP source figure dans l'un des fichiers de plages publiés par OpenAI. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | OpenAI |
| Documentation de l'opérateur | https://platform.openai.com/docs/bots |
La finalité de ce bot n'est pas connue pour le moment, mais il fait partie de l'ensemble des robots d'exploration d'OpenAI.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: OpenAI
Disallow: /User-agent: OpenAI
Allow: /User-agent: OpenAI
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer OpenAI arrête uniquement ce jeton. Consultez ensuite vos journaux, car les opérateurs qui ignorent robots.txt reviennent souvent sous un autre nom.
Générer un fichier pour tous les robotsFAQ
OpenAI est un bot qui explore le web de manière automatisée. La finalité de ce bot n'est pas connue pour le moment, mais il fait partie de l'ensemble des robots d'exploration d'OpenAI. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de OpenAI : un fichier de plages d'IP publié.
Oui. L'opérateur indique que OpenAI lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Un jeton « OpenAI » seul ne correspond à aucun des trois robots documentés. Considérez-le comme non vérifié, sauf si l'IP source figure dans l'un des fichiers de plages publiés par OpenAI. La référence est publiée sur https://platform.openai.com/docs/bots.
Ajoutez le jeton OpenAI au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer OpenAI arrête uniquement ce jeton. Consultez ensuite vos journaux, car les opérateurs qui ignorent robots.txt reviennent souvent sous un autre nom.