Crawlers de búsqueda con IA
OAI-SearchBot es un bot operado por OpenAI que indexa páginas para que un motor de respuestas con IA pueda citarlas. Rastrea sitios para mostrarlos como resultados en SearchGPT. Respeta robots.txt, y una solicitud que dice ser de OAI-SearchBot puede comprobarse con un archivo publicado de rangos de IP.
La solicitud dice
"OAI-SearchBot/1.0"
Se comprueba con
rangos de IP publicados de OpenAI
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot |
|---|---|
| Operador | OpenAI |
| Finalidad | Generación de resultados de búsqueda. |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IPArchivo publicado de rangos de IP OpenAI publica un archivo de rangos aparte para el rastreador de búsqueda. Bloquearlo elimina el sitio de los resultados de búsqueda de ChatGPT, una decisión distinta de bloquear el entrenamiento. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | OAI-SearchBot |
| Documentación del operador | https://platform.openai.com/docs/bots |
Rastrea sitios para mostrarlos como resultados en SearchGPT.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: OAI-SearchBot
Disallow: /User-agent: OAI-SearchBot
Allow: /User-agent: OAI-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear OAI-SearchBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
OAI-SearchBot es un bot operado por OpenAI que indexa páginas para que un motor de respuestas con IA pueda citarlas. Rastrea sitios para mostrarlos como resultados en SearchGPT. Respeta robots.txt, y una solicitud que dice ser de OAI-SearchBot puede comprobarse con un archivo publicado de rangos de IP.
Sí. El operador documenta que OAI-SearchBot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
OpenAI publica un archivo de rangos aparte para el rastreador de búsqueda. Bloquearlo elimina el sitio de los resultados de búsqueda de ChatGPT, una decisión distinta de bloquear el entrenamiento. La referencia está publicada en https://openai.com/searchbot.json.
Añade el token OAI-SearchBot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear OAI-SearchBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.