Trainingscrawlers
Meta-ExternalAgent is een bot van Meta die pagina's verzamelt om AI-modellen mee te trainen. Meta-ExternalAgent is een webcrawler die Meta gebruikt om trainingsgegevens voor zijn AI-modellen te downloaden en zijn producten te verbeteren door content rechtstreeks te indexeren. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als Meta-ExternalAgent kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Verzoek meldt
"Meta-ExternalAgent"
Gecontroleerd aan de hand van
ASN van Meta
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Meta-ExternalAgentAlleen token: match op de substring. |
|---|---|
| Beheerder | Meta |
| Doel | Trainingscrawlers |
| Respecteert robots.txt | Respecteertbron |
| Verificatiemethode | ASN van exploitantControle op ASN van de beheerder Meta publiceert geen bestand met IP-bereiken per bot. In de praktijk controleer je of het bron-IP wordt aangekondigd door AS32934 (Facebook). Dat kun je opvragen bij een routeringsregister. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | Meta-ExternalAgentmeta-externalagent |
| Documentatie van de beheerder | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalAgent is een webcrawler die Meta gebruikt om trainingsgegevens voor zijn AI-modellen te downloaden en zijn producten te verbeteren door content rechtstreeks te indexeren.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Disallow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je Meta-ExternalAgent blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.
Maak een bestand voor alle crawlersFAQ
Meta-ExternalAgent is een bot van Meta die pagina's verzamelt om AI-modellen mee te trainen. Meta-ExternalAgent is een webcrawler die Meta gebruikt om trainingsgegevens voor zijn AI-modellen te downloaden en zijn producten te verbeteren door content rechtstreeks te indexeren. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als Meta-ExternalAgent kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Ja. De beheerder documenteert dat Meta-ExternalAgent robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Meta publiceert geen bestand met IP-bereiken per bot. In de praktijk controleer je of het bron-IP wordt aangekondigd door AS32934 (Facebook). Dat kun je opvragen bij een routeringsregister. De referentie is gepubliceerd op https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Voeg deze user-agent-tokens (Meta-ExternalAgent, meta-externalagent) toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je Meta-ExternalAgent blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.