Robots de recherche IA
Bingbot est un bot exploité par Microsoft qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Bingbot indexe les pages pour Bing Search. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Bingbot : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
La requête annonce
"bingbot/2.0"
Comparé à
plages IP et DNS inverse (Microsoft)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 |
|---|---|
| Opérateur | Microsoft |
| Finalité | Indexation pour la recherche, qui alimente aussi les réponses de Copilot |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IP + DNSPlages d'IP publiées ou DNS inverse Le DNS inverse doit pointer vers un hôte search.msn.com et la résolution directe doit renvoyer la même IP. Microsoft publie aussi les plages au format JSON. |
| Comportement d'exploration | Continu, réglable via le contrôle d'exploration de Bing Webmaster Tools. |
| Jetons robots.txt | Bingbot |
| Documentation de l'opérateur | https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26 |
Bingbot indexe les pages pour Bing Search. Le même index sert de base aux réponses de Microsoft Copilot : bloquer Bingbot retire donc un site des citations de Copilot comme des résultats de Bing.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: Bingbot
Disallow: /User-agent: Bingbot
Allow: /User-agent: Bingbot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Bingbot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
Bingbot est un bot exploité par Microsoft qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Bingbot indexe les pages pour Bing Search. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Bingbot : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
Oui. L'opérateur indique que Bingbot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Le DNS inverse doit pointer vers un hôte search.msn.com et la résolution directe doit renvoyer la même IP. Microsoft publie aussi les plages au format JSON. La référence est publiée sur https://www.bing.com/toolbox/bingbot.json.
Ajoutez le jeton Bingbot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Bingbot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.