Crawlers de búsqueda con IA
PerplexityBot es un bot operado por Perplexity que indexa páginas para que un motor de respuestas con IA pueda citarlas. Rastrea sitios para mostrarlos como resultados en Perplexity. Respeta robots.txt, y una solicitud que dice ser de PerplexityBot puede comprobarse con un archivo publicado de rangos de IP.
La solicitud dice
"PerplexityBot/1.0"
Se comprueba con
rangos de IP publicados de Perplexity
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot |
|---|---|
| Operador | Perplexity |
| Finalidad | Generación de resultados de búsqueda. |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IPArchivo publicado de rangos de IP Perplexity publica los rangos del rastreador en formato JSON. Investigadores independientes han detectado tráfico que dice ser PerplexityBot desde fuera de esos rangos, así que aquí la comprobación de IP es más importante que en la mayoría de los casos. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | PerplexityBot |
| Documentación del operador | https://docs.perplexity.ai/guides/bots |
Rastrea sitios para mostrarlos como resultados en Perplexity.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: PerplexityBot
Disallow: /User-agent: PerplexityBot
Allow: /User-agent: PerplexityBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear PerplexityBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
PerplexityBot es un bot operado por Perplexity que indexa páginas para que un motor de respuestas con IA pueda citarlas. Rastrea sitios para mostrarlos como resultados en Perplexity. Respeta robots.txt, y una solicitud que dice ser de PerplexityBot puede comprobarse con un archivo publicado de rangos de IP.
Sí. El operador documenta que PerplexityBot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Perplexity publica los rangos del rastreador en formato JSON. Investigadores independientes han detectado tráfico que dice ser PerplexityBot desde fuera de esos rangos, así que aquí la comprobación de IP es más importante que en la mayoría de los casos. La referencia está publicada en https://www.perplexity.com/perplexitybot.json.
Añade el token PerplexityBot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear PerplexityBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.