Crawlers de búsqueda con IA
DuckDuckBot es un bot operado por DuckDuckGo que indexa páginas para que un motor de respuestas con IA pueda citarlas. DuckDuckBot rastrea para el índice propio de DuckDuckGo. Respeta robots.txt, y una solicitud que dice ser de DuckDuckBot puede comprobarse con un archivo publicado de rangos de IP.
La solicitud dice
"DuckDuckBot"
Se comprueba con
rangos de IP publicados de DuckDuckGo
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | DuckDuckBotSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | DuckDuckGo |
| Finalidad | Indexación para búsquedas |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IPArchivo publicado de rangos de IP DuckDuckGo publica las direcciones del rastreador en sus páginas de ayuda. https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/ |
| Patrón de rastreo | Baja; la mayoría de los resultados proceden de índices de socios. |
| Tokens de robots.txt | DuckDuckBot |
| Documentación del operador | https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/ |
DuckDuckBot rastrea para el índice propio de DuckDuckGo. Es distinto de DuckAssistBot, que obtiene páginas para responder preguntas en el asistente de IA de DuckDuckGo.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: DuckDuckBot
Disallow: /User-agent: DuckDuckBot
Allow: /User-agent: DuckDuckBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear DuckDuckBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
DuckDuckBot es un bot operado por DuckDuckGo que indexa páginas para que un motor de respuestas con IA pueda citarlas. DuckDuckBot rastrea para el índice propio de DuckDuckGo. Respeta robots.txt, y una solicitud que dice ser de DuckDuckBot puede comprobarse con un archivo publicado de rangos de IP.
Sí. El operador documenta que DuckDuckBot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
DuckDuckGo publica las direcciones del rastreador en sus páginas de ayuda. La referencia está publicada en https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/.
Añade el token DuckDuckBot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear DuckDuckBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.