Robots d'entraînement
Meta-ExternalAgent est un bot exploité par Meta qui collecte des pages servant à entraîner des modèles d'IA. Meta-ExternalAgent est un robot d'exploration utilisé par Meta pour télécharger des données d'entraînement pour ses modèles d'IA et améliorer ses produits en indexant directement du contenu. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Meta-ExternalAgent : l'ASN annoncé par l'opérateur.
La requête annonce
"Meta-ExternalAgent"
Comparé à
ASN (Meta)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Meta-ExternalAgentJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | Meta |
| Finalité | Robots d'entraînement |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | ASN de l'opérateurVérification de l'ASN de l'opérateur Meta ne publie pas de fichier de plages d'adresses par bot. En pratique, il faut vérifier si l'IP source est annoncée par AS32934 (Facebook), ce que vous pouvez contrôler auprès d'un registre de routage. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | Meta-ExternalAgentmeta-externalagent |
| Documentation de l'opérateur | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalAgent est un robot d'exploration utilisé par Meta pour télécharger des données d'entraînement pour ses modèles d'IA et améliorer ses produits en indexant directement du contenu.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Disallow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Meta-ExternalAgent exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.
Générer un fichier pour tous les robotsFAQ
Meta-ExternalAgent est un bot exploité par Meta qui collecte des pages servant à entraîner des modèles d'IA. Meta-ExternalAgent est un robot d'exploration utilisé par Meta pour télécharger des données d'entraînement pour ses modèles d'IA et améliorer ses produits en indexant directement du contenu. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Meta-ExternalAgent : l'ASN annoncé par l'opérateur.
Oui. L'opérateur indique que Meta-ExternalAgent lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Meta ne publie pas de fichier de plages d'adresses par bot. En pratique, il faut vérifier si l'IP source est annoncée par AS32934 (Facebook), ce que vous pouvez contrôler auprès d'un registre de routage. La référence est publiée sur https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Ajoutez ces jetons user agent (Meta-ExternalAgent, meta-externalagent) au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Meta-ExternalAgent exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.