Robots de recherche IA
OAI-SearchBot est un bot exploité par OpenAI qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Explore les sites pour les faire apparaître dans les résultats de SearchGPT. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de OAI-SearchBot : un fichier de plages d'IP publié.
La requête annonce
"OAI-SearchBot/1.0"
Comparé à
plages IP publiées (OpenAI)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot |
|---|---|
| Opérateur | OpenAI |
| Finalité | Génération de résultats de recherche. |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié OpenAI publie un fichier de plages distinct pour son robot de recherche. Le bloquer retire le site des résultats de recherche de ChatGPT, ce qui est une décision différente du blocage de l'entraînement. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | OAI-SearchBot |
| Documentation de l'opérateur | https://platform.openai.com/docs/bots |
Explore les sites pour les faire apparaître dans les résultats de SearchGPT.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: OAI-SearchBot
Disallow: /User-agent: OAI-SearchBot
Allow: /User-agent: OAI-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer OAI-SearchBot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
OAI-SearchBot est un bot exploité par OpenAI qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Explore les sites pour les faire apparaître dans les résultats de SearchGPT. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de OAI-SearchBot : un fichier de plages d'IP publié.
Oui. L'opérateur indique que OAI-SearchBot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
OpenAI publie un fichier de plages distinct pour son robot de recherche. Le bloquer retire le site des résultats de recherche de ChatGPT, ce qui est une décision différente du blocage de l'entraînement. La référence est publiée sur https://openai.com/searchbot.json.
Ajoutez le jeton OAI-SearchBot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer OAI-SearchBot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.