Récupérateurs d'assistants
Meta-ExternalFetcher est un bot exploité par Meta qui récupère des pages à la demande pour un assistant IA. Meta-ExternalFetcher est envoyé par les produits Meta AI en réponse aux requêtes des utilisateurs, lorsqu'ils doivent récupérer un lien précis. Il est documenté comme ne respectant pas le fichier robots.txt. Moyen de vérifier une requête se réclamant de Meta-ExternalFetcher : l'ASN annoncé par l'opérateur.
La requête annonce
"Meta-ExternalFetcher"
Comparé à
ASN (Meta)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Meta-ExternalFetcherJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | Meta |
| Finalité | Récupérateurs d'assistants |
| Respecte robots.txt | Ignoresource |
| Méthode de vérification | ASN de l'opérateurVérification de l'ASN de l'opérateur Même vérification AS32934 que pour les autres agents Meta. Celui-ci récupère une seule URL qu'un utilisateur a partagée avec un assistant Meta AI. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | Meta-ExternalFetchermeta-externalfetcher |
| Documentation de l'opérateur | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalFetcher est envoyé par les produits Meta AI en réponse aux requêtes des utilisateurs, lorsqu'ils doivent récupérer un lien précis.
robots.txt
Selon la documentation, Meta-ExternalFetcher ignore robots.txt. Appliquez également un blocage au niveau de votre CDN.
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Disallow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Meta-ExternalFetcher signifie qu'une personne qui pose une question sur l'une de vos URL obtiendra une erreur au lieu d'un résumé. C'est un compromis en matière d'assistance et de réputation, sans rapport avec l'entraînement.
Générer un fichier pour tous les robotsFAQ
Meta-ExternalFetcher est un bot exploité par Meta qui récupère des pages à la demande pour un assistant IA. Meta-ExternalFetcher est envoyé par les produits Meta AI en réponse aux requêtes des utilisateurs, lorsqu'ils doivent récupérer un lien précis. Il est documenté comme ne respectant pas le fichier robots.txt. Moyen de vérifier une requête se réclamant de Meta-ExternalFetcher : l'ASN annoncé par l'opérateur.
Non. Meta-ExternalFetcher est documenté comme ne respectant pas le fichier robots.txt : une ligne Disallow ne l'arrêtera pas. Le blocage doit se faire en périphérie, par user agent ou par adresse source.
Même vérification AS32934 que pour les autres agents Meta. Celui-ci récupère une seule URL qu'un utilisateur a partagée avec un assistant Meta AI. La référence est publiée sur https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Ajoutez ces jetons user agent (Meta-ExternalFetcher, meta-externalfetcher) au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Meta-ExternalFetcher signifie qu'une personne qui pose une question sur l'une de vos URL obtiendra une erreur au lieu d'un résumé. C'est un compromis en matière d'assistance et de réputation, sans rapport avec l'entraînement.