Robots de recherche IA
DuckDuckBot est un bot exploité par DuckDuckGo qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. DuckDuckBot explore le web pour l'index propre de DuckDuckGo. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de DuckDuckBot : un fichier de plages d'IP publié.
La requête annonce
"DuckDuckBot"
Comparé à
plages IP publiées (DuckDuckGo)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | DuckDuckBotJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | DuckDuckGo |
| Finalité | Indexation pour la recherche |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié DuckDuckGo publie les adresses du robot dans ses pages d'aide. https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/ |
| Comportement d'exploration | Faible : la plupart des résultats proviennent d'index partenaires. |
| Jetons robots.txt | DuckDuckBot |
| Documentation de l'opérateur | https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/ |
DuckDuckBot explore le web pour l'index propre de DuckDuckGo. Il est distinct de DuckAssistBot, qui récupère des pages pour répondre aux questions dans l'assistant IA de DuckDuckGo.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: DuckDuckBot
Disallow: /User-agent: DuckDuckBot
Allow: /User-agent: DuckDuckBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer DuckDuckBot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
DuckDuckBot est un bot exploité par DuckDuckGo qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. DuckDuckBot explore le web pour l'index propre de DuckDuckGo. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de DuckDuckBot : un fichier de plages d'IP publié.
Oui. L'opérateur indique que DuckDuckBot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
DuckDuckGo publie les adresses du robot dans ses pages d'aide. La référence est publiée sur https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/.
Ajoutez le jeton DuckDuckBot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer DuckDuckBot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.