Autres robots automatisés
facebookexternalhit est un bot exploité par Meta/Facebook qui explore le web de manière automatisée. Notez qu'exclure FacebookExternalHit empêche l'intégration des données OpenGraph lors du partage sur les réseaux sociaux, y compris les liens enrichis dans l'app Messages d'Apple. Il est documenté comme ne respectant pas le fichier robots.txt. Moyen de vérifier une requête se réclamant de facebookexternalhit : l'ASN annoncé par l'opérateur.
La requête annonce
"facebookexternalhit"
Comparé à
ASN (Meta/Facebook)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | facebookexternalhitJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | Meta/Facebook |
| Finalité | Officiellement réservé au partage, mais probablement utilisé aussi comme robot d'exploration pour l'IA |
| Respecte robots.txt | Ignoresource |
| Méthode de vérification | ASN de l'opérateurVérification de l'ASN de l'opérateur L'extracteur d'aperçus de liens. Il existe depuis bien plus longtemps que les agents IA et c'est le jeton Meta le plus souvent usurpé : vérifiez AS32934 avant de vous y fier. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | facebookexternalhit |
| Documentation de l'opérateur | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Notez qu'exclure FacebookExternalHit empêche l'intégration des données OpenGraph lors du partage sur les réseaux sociaux, y compris les liens enrichis dans l'app Messages d'Apple. Selon Meta, son objectif est « d'explorer le contenu d'une application ou d'un site web partagé sur l'une des applications de la famille Meta… ». Consultez toutefois les discussions ici et ici, qui indiquent le contraire.
robots.txt
Selon la documentation, facebookexternalhit ignore robots.txt. Appliquez également un blocage au niveau de votre CDN.
User-agent: facebookexternalhit
Disallow: /User-agent: facebookexternalhit
Allow: /User-agent: facebookexternalhit
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer facebookexternalhit arrête uniquement ce jeton. Consultez ensuite vos journaux, car les opérateurs qui ignorent robots.txt reviennent souvent sous un autre nom.
Générer un fichier pour tous les robotsFAQ
facebookexternalhit est un bot exploité par Meta/Facebook qui explore le web de manière automatisée. Notez qu'exclure FacebookExternalHit empêche l'intégration des données OpenGraph lors du partage sur les réseaux sociaux, y compris les liens enrichis dans l'app Messages d'Apple. Il est documenté comme ne respectant pas le fichier robots.txt. Moyen de vérifier une requête se réclamant de facebookexternalhit : l'ASN annoncé par l'opérateur.
Non. facebookexternalhit est documenté comme ne respectant pas le fichier robots.txt : une ligne Disallow ne l'arrêtera pas. Le blocage doit se faire en périphérie, par user agent ou par adresse source.
L'extracteur d'aperçus de liens. Il existe depuis bien plus longtemps que les agents IA et c'est le jeton Meta le plus souvent usurpé : vérifiez AS32934 avant de vous y fier. La référence est publiée sur https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Ajoutez le jeton facebookexternalhit au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer facebookexternalhit arrête uniquement ce jeton. Consultez ensuite vos journaux, car les opérateurs qui ignorent robots.txt reviennent souvent sous un autre nom.