Overige geautomatiseerde crawlers
facebookexternalhit is een bot van Meta/Facebook die automatisch het web crawlt. Let op: als je FacebookExternalHit uitsluit, worden OpenGraph-gegevens niet meer gebruikt bij delen op sociale media. Volgens de documentatie volgt hij robots.txt niet, en een verzoek dat zich uitgeeft als facebookexternalhit kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Verzoek meldt
"facebookexternalhit"
Gecontroleerd aan de hand van
ASN van Meta/Facebook
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | facebookexternalhitAlleen token: match op de substring. |
|---|---|
| Beheerder | Meta/Facebook |
| Doel | Officieel alleen voor delen, maar waarschijnlijk ook gebruikt als AI-crawler |
| Respecteert robots.txt | Negeertbron |
| Verificatiemethode | ASN van exploitantControle op ASN van de beheerder De scraper voor linkvoorbeelden. Hij bestaat al veel langer dan de AI-agents en is het Meta-token dat het vaakst wordt nagebootst. Controleer dus AS32934 voordat je hem vertrouwt. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | facebookexternalhit |
| Documentatie van de beheerder | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Let op: als je FacebookExternalHit uitsluit, worden OpenGraph-gegevens niet meer gebruikt bij delen op sociale media. Dat geldt ook voor rich links in de Berichten-app van Apple. Volgens Meta is het doel "de inhoud te crawlen van een app of website die is gedeeld in een van de apps van Meta…". Zie echter de discussies hier en hier voor aanwijzingen dat het anders zit.
robots.txt
Volgens de documentatie negeert facebookexternalhit robots.txt. Dwing een blokkade ook af via je CDN.
User-agent: facebookexternalhit
Disallow: /User-agent: facebookexternalhit
Allow: /User-agent: facebookexternalhit
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je facebookexternalhit blokkeert, stop je alleen dit specifieke token. Controleer daarna je logs, want beheerders die robots.txt negeren komen vaak terug onder een andere naam.
Maak een bestand voor alle crawlersFAQ
facebookexternalhit is een bot van Meta/Facebook die automatisch het web crawlt. Let op: als je FacebookExternalHit uitsluit, worden OpenGraph-gegevens niet meer gebruikt bij delen op sociale media. Volgens de documentatie volgt hij robots.txt niet, en een verzoek dat zich uitgeeft als facebookexternalhit kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Nee. Volgens de documentatie volgt facebookexternalhit robots.txt niet, dus een Disallow-regel houdt hem niet tegen. Je moet aan de rand van je netwerk blokkeren, op user agent of op bronadres.
De scraper voor linkvoorbeelden. Hij bestaat al veel langer dan de AI-agents en is het Meta-token dat het vaakst wordt nagebootst. Controleer dus AS32934 voordat je hem vertrouwt. De referentie is gepubliceerd op https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Voeg het token facebookexternalhit toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je facebookexternalhit blokkeert, stop je alleen dit specifieke token. Controleer daarna je logs, want beheerders die robots.txt negeren komen vaak terug onder een andere naam.