Crawlers de entrenamiento
GPTBot es un bot operado por OpenAI que recopila páginas para entrenar modelos de IA. Los datos se usan para entrenar modelos actuales y futuros; se eliminan los datos de pago, la información personal identificable (PII) y los datos que infringen las políticas de la empresa. Respeta robots.txt, y una solicitud que dice ser de GPTBot puede comprobarse con un archivo publicado de rangos de IP.
La solicitud dice
"GPTBot/1.2"
Se comprueba con
rangos de IP publicados de OpenAI
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot |
|---|---|
| Operador | OpenAI |
| Finalidad | Extrae datos para entrenar los productos de OpenAI. |
| Respeta robots.txt | Respeta |
| Método de verificación | Rangos de IPArchivo publicado de rangos de IP OpenAI publica los rangos de salida de GPTBot en un archivo JSON. Compara la IP de la solicitud con ese archivo; no hay ninguna convención de DNS inverso. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | GPTBot |
| Documentación del operador | https://platform.openai.com/docs/bots |
Los datos se usan para entrenar modelos actuales y futuros; se eliminan los datos de pago, la información personal identificable (PII) y los datos que infringen las políticas de la empresa.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: GPTBot
Disallow: /User-agent: GPTBot
Allow: /User-agent: GPTBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear GPTBot deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.
Crea un archivo para todos los rastreadoresFAQ
GPTBot es un bot operado por OpenAI que recopila páginas para entrenar modelos de IA. Los datos se usan para entrenar modelos actuales y futuros; se eliminan los datos de pago, la información personal identificable (PII) y los datos que infringen las políticas de la empresa. Respeta robots.txt, y una solicitud que dice ser de GPTBot puede comprobarse con un archivo publicado de rangos de IP.
Sí. El operador documenta que GPTBot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
OpenAI publica los rangos de salida de GPTBot en un archivo JSON. Compara la IP de la solicitud con ese archivo; no hay ninguna convención de DNS inverso. La referencia está publicada en https://openai.com/gptbot.json.
Añade el token GPTBot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear GPTBot deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.