Robots de recherche IA
meta-webindexer est un bot exploité par Meta qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Selon sa documentation, « Le robot Meta-WebIndexer parcourt le Web afin d'améliorer la qualité des résultats de recherche de Meta AI pour les utilisateurs. Son respect du fichier robots.txt n'est pas documenté. Moyen de vérifier une requête se réclamant de meta-webindexer : l'ASN annoncé par l'opérateur.
La requête annonce
"meta-webindexer"
Comparé à
ASN (Meta)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | meta-webindexerJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | Meta |
| Finalité | Robots de recherche IA |
| Respecte robots.txt | Aucune politique |
| Méthode de vérification | ASN de l'opérateurVérification de l'ASN de l'opérateur Vérifiez que l'IP source appartient à AS32934. Meta ne publie aucun fichier de plages par robot. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Comportement d'exploration | Effréné, plus d'une requête par seconde. |
| Jetons robots.txt | meta-webindexer |
| Documentation de l'opérateur | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Selon sa documentation, « Le robot Meta-WebIndexer parcourt le Web afin d'améliorer la qualité des résultats de recherche de Meta AI pour les utilisateurs. Ce faisant, Meta analyse les contenus en ligne pour améliorer la pertinence et la précision de Meta AI. Autoriser Meta-WebIndexer dans votre fichier robots.txt nous aide à citer votre contenu et à créer des liens vers celui-ci dans les réponses de Meta AI. »
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: meta-webindexer
Disallow: /User-agent: meta-webindexer
Allow: /User-agent: meta-webindexer
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer meta-webindexer retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
meta-webindexer est un bot exploité par Meta qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Selon sa documentation, « Le robot Meta-WebIndexer parcourt le Web afin d'améliorer la qualité des résultats de recherche de Meta AI pour les utilisateurs. Son respect du fichier robots.txt n'est pas documenté. Moyen de vérifier une requête se réclamant de meta-webindexer : l'ASN annoncé par l'opérateur.
Non documenté. Aucune déclaration de l'opérateur n'indique si meta-webindexer lit le fichier robots.txt. Ajoutez la règle, puis vérifiez dans vos journaux que les requêtes cessent réellement.
Vérifiez que l'IP source appartient à AS32934. Meta ne publie aucun fichier de plages par robot. La référence est publiée sur https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Ajoutez le jeton meta-webindexer au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer meta-webindexer retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.