Otros crawlers automatizados
OpenAI es un bot que rastrea la web de forma automática. Por ahora no está clara la finalidad de este bot, pero forma parte del conjunto de rastreadores de OpenAI. Respeta robots.txt, y una solicitud que dice ser de OpenAI puede comprobarse con un archivo publicado de rangos de IP.
La solicitud dice
"OpenAI"
Se comprueba con
rangos de IP publicados de OpenAI
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | OpenAISolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | OpenAI |
| Finalidad | Otros crawlers automatizados |
| Respeta robots.txt | Respeta |
| Método de verificación | Rangos de IPArchivo publicado de rangos de IP Un token "OpenAI" a secas no corresponde a ninguno de los tres rastreadores documentados. Considéralo no verificado salvo que la IP de origen aparezca en alguno de los archivos de rangos publicados por OpenAI. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | OpenAI |
| Documentación del operador | https://platform.openai.com/docs/bots |
Por ahora no está clara la finalidad de este bot, pero forma parte del conjunto de rastreadores de OpenAI.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: OpenAI
Disallow: /User-agent: OpenAI
Allow: /User-agent: OpenAI
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear OpenAI detiene este token concreto. Revisa después tus registros, porque los operadores que ignoran robots.txt suelen volver con otro nombre.
Crea un archivo para todos los rastreadoresFAQ
OpenAI es un bot que rastrea la web de forma automática. Por ahora no está clara la finalidad de este bot, pero forma parte del conjunto de rastreadores de OpenAI. Respeta robots.txt, y una solicitud que dice ser de OpenAI puede comprobarse con un archivo publicado de rangos de IP.
Sí. El operador documenta que OpenAI lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Un token "OpenAI" a secas no corresponde a ninguno de los tres rastreadores documentados. Considéralo no verificado salvo que la IP de origen aparezca en alguno de los archivos de rangos publicados por OpenAI. La referencia está publicada en https://platform.openai.com/docs/bots.
Añade el token OpenAI a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear OpenAI detiene este token concreto. Revisa después tus registros, porque los operadores que ignoran robots.txt suelen volver con otro nombre.