Trainingscrawlers
FacebookBot is een bot van Meta/Facebook die pagina's verzamelt om AI-modellen mee te trainen. Officieel gebruikt voor het trainen van Meta's "spraakherkenningstechnologie". Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als FacebookBot kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Verzoek meldt
"FacebookBot"
Gecontroleerd aan de hand van
ASN van Meta/Facebook
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | FacebookBotAlleen token: match op de substring. |
|---|---|
| Beheerder | Meta/Facebook |
| Doel | Taalmodellen trainen |
| Respecteert robots.txt | Respecteertbron |
| Verificatiemethode | ASN van exploitantControle op ASN van de beheerder Controleer het bron-IP tegen AS32934. Meta publiceert geen bestand met IP-ranges per bot. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Crawlpatroon | Tot 1 pagina per seconde |
| robots.txt-tokens | FacebookBot |
| Documentatie van de beheerder | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Officieel gebruikt voor het trainen van Meta's "spraakherkenningstechnologie". Onbekend is of hij ook specifiek wordt gebruikt om Meta AI te trainen.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: FacebookBot
Disallow: /User-agent: FacebookBot
Allow: /User-agent: FacebookBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je FacebookBot blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.
Maak een bestand voor alle crawlersFAQ
FacebookBot is een bot van Meta/Facebook die pagina's verzamelt om AI-modellen mee te trainen. Officieel gebruikt voor het trainen van Meta's "spraakherkenningstechnologie". Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als FacebookBot kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Ja. De beheerder documenteert dat FacebookBot robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Controleer het bron-IP tegen AS32934. Meta publiceert geen bestand met IP-ranges per bot. De referentie is gepubliceerd op https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Voeg het token FacebookBot toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je FacebookBot blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.