Robots d'entraînement
GPTBot est un bot exploité par OpenAI qui collecte des pages servant à entraîner des modèles d'IA. Les données servent à entraîner les modèles actuels et futurs ; les contenus payants, les données personnelles et les données contraires aux règles de l'entreprise en sont retirés. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de GPTBot : un fichier de plages d'IP publié.
La requête annonce
"GPTBot/1.2"
Comparé à
plages IP publiées (OpenAI)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot |
|---|---|
| Opérateur | OpenAI |
| Finalité | Collecte des données pour entraîner les produits d'OpenAI. |
| Respecte robots.txt | Respecte |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié OpenAI publie les plages d'adresses sortantes de GPTBot dans un fichier JSON. Comparez l'IP de la requête à ce fichier ; il n'existe pas de convention de DNS inverse. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | GPTBot |
| Documentation de l'opérateur | https://platform.openai.com/docs/bots |
Les données servent à entraîner les modèles actuels et futurs ; les contenus payants, les données personnelles et les données contraires aux règles de l'entreprise en sont retirés.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: GPTBot
Disallow: /User-agent: GPTBot
Allow: /User-agent: GPTBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer GPTBot exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.
Générer un fichier pour tous les robotsFAQ
GPTBot est un bot exploité par OpenAI qui collecte des pages servant à entraîner des modèles d'IA. Les données servent à entraîner les modèles actuels et futurs ; les contenus payants, les données personnelles et les données contraires aux règles de l'entreprise en sont retirés. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de GPTBot : un fichier de plages d'IP publié.
Oui. L'opérateur indique que GPTBot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
OpenAI publie les plages d'adresses sortantes de GPTBot dans un fichier JSON. Comparez l'IP de la requête à ce fichier ; il n'existe pas de convention de DNS inverse. La référence est publiée sur https://openai.com/gptbot.json.
Ajoutez le jeton GPTBot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer GPTBot exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.