Sonstige automatisierte Crawler
facebookexternalhit ist ein von Meta/Facebook betriebener Bot, der das Web automatisch crawlt. Beachten Sie, dass ein Ausschluss von FacebookExternalHit verhindert, dass beim Teilen in sozialen Medien OpenGraph-Daten übernommen werden. Laut Dokumentation befolgt er robots.txt nicht, und zur Prüfung einer Anfrage, die sich als facebookexternalhit ausgibt, dient die vom Betreiber angekündigte ASN.
Anfrage gibt an
"facebookexternalhit"
Geprüft anhand
ASN von Meta/Facebook
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | facebookexternalhitNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Meta/Facebook |
| Zweck | Angeblich nur zum Teilen, wird aber wahrscheinlich auch als KI-Crawler eingesetzt |
| Beachtet robots.txt | IgnoriertQuelle |
| Verifizierungsmethode | ASN des BetreibersPrüfung der Betreiber-ASN Der Scraper für Linkvorschauen. Es gibt ihn schon viel länger als die KI-Agenten, und er ist das am häufigsten gefälschte Meta-Token. Prüfen Sie daher AS32934, bevor Sie ihm vertrauen. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | facebookexternalhit |
| Dokumentation des Betreibers | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Beachten Sie, dass ein Ausschluss von FacebookExternalHit verhindert, dass beim Teilen in sozialen Medien OpenGraph-Daten übernommen werden. Das betrifft auch Rich Links in der Nachrichten-App von Apple. Laut Meta besteht sein Zweck darin, „den Inhalt einer App oder Website zu crawlen, die in einer der Apps der Meta-Familie geteilt wurde …“. Gegenteilige Hinweise finden Sie jedoch in den Diskussionen hier und hier.
robots.txt
Laut Dokumentation ignoriert facebookexternalhit robots.txt. Setzen Sie eine Sperre zusätzlich in Ihrem CDN durch.
User-agent: facebookexternalhit
Disallow: /User-agent: facebookexternalhit
Allow: /User-agent: facebookexternalhit
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie facebookexternalhit blockieren, stoppen Sie nur dieses eine Token. Prüfen Sie danach Ihre Logs, denn Betreiber, die robots.txt ignorieren, kommen oft unter einem anderen Namen wieder.
Eine Datei für alle Crawler erstellenFAQ
facebookexternalhit ist ein von Meta/Facebook betriebener Bot, der das Web automatisch crawlt. Beachten Sie, dass ein Ausschluss von FacebookExternalHit verhindert, dass beim Teilen in sozialen Medien OpenGraph-Daten übernommen werden. Laut Dokumentation befolgt er robots.txt nicht, und zur Prüfung einer Anfrage, die sich als facebookexternalhit ausgibt, dient die vom Betreiber angekündigte ASN.
Nein. Laut Dokumentation befolgt facebookexternalhit robots.txt nicht, eine Disallow-Zeile hält ihn also nicht auf. Die Blockierung muss am Edge erfolgen, anhand des User-Agents oder der Quelladresse.
Der Scraper für Linkvorschauen. Es gibt ihn schon viel länger als die KI-Agenten, und er ist das am häufigsten gefälschte Meta-Token. Prüfen Sie daher AS32934, bevor Sie ihm vertrauen. Die Referenz ist unter https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ veröffentlicht.
Tragen Sie das Token facebookexternalhit mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie facebookexternalhit blockieren, stoppen Sie nur dieses eine Token. Prüfen Sie danach Ihre Logs, denn Betreiber, die robots.txt ignorieren, kommen oft unter einem anderen Namen wieder.