Assistenten-Abrufe
Meta-ExternalFetcher ist ein von Meta betriebener Bot, der für einen KI-Assistenten bei Bedarf einzelne Seiten abruft. Meta-ExternalFetcher wird von Meta-AI-Produkten als Reaktion auf Nutzereingaben eingesetzt, wenn diese einzelne Links abrufen müssen. Laut Dokumentation befolgt er robots.txt nicht, und zur Prüfung einer Anfrage, die sich als Meta-ExternalFetcher ausgibt, dient die vom Betreiber angekündigte ASN.
Anfrage gibt an
"Meta-ExternalFetcher"
Geprüft anhand
ASN von Meta
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | Meta-ExternalFetcherNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Meta |
| Zweck | Assistenten-Abrufe |
| Beachtet robots.txt | IgnoriertQuelle |
| Verifizierungsmethode | ASN des BetreibersPrüfung der Betreiber-ASN Dieselbe AS32934-Prüfung wie bei den anderen Meta-Agents. Dieser Agent ruft eine einzelne URL ab, die ein Nutzer mit einem KI-Assistenten von Meta geteilt hat. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | Meta-ExternalFetchermeta-externalfetcher |
| Dokumentation des Betreibers | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalFetcher wird von Meta-AI-Produkten als Reaktion auf Nutzereingaben eingesetzt, wenn diese einzelne Links abrufen müssen.
robots.txt
Laut Dokumentation ignoriert Meta-ExternalFetcher robots.txt. Setzen Sie eine Sperre zusätzlich in Ihrem CDN durch.
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Disallow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie Meta-ExternalFetcher blockieren, erhält eine Person, die nach einer Ihrer URLs fragt, statt einer Zusammenfassung eine Fehlermeldung. Das ist eine Abwägung zwischen Support und Reputation, keine Frage des Trainings.
Eine Datei für alle Crawler erstellenFAQ
Meta-ExternalFetcher ist ein von Meta betriebener Bot, der für einen KI-Assistenten bei Bedarf einzelne Seiten abruft. Meta-ExternalFetcher wird von Meta-AI-Produkten als Reaktion auf Nutzereingaben eingesetzt, wenn diese einzelne Links abrufen müssen. Laut Dokumentation befolgt er robots.txt nicht, und zur Prüfung einer Anfrage, die sich als Meta-ExternalFetcher ausgibt, dient die vom Betreiber angekündigte ASN.
Nein. Laut Dokumentation befolgt Meta-ExternalFetcher robots.txt nicht, eine Disallow-Zeile hält ihn also nicht auf. Die Blockierung muss am Edge erfolgen, anhand des User-Agents oder der Quelladresse.
Dieselbe AS32934-Prüfung wie bei den anderen Meta-Agents. Dieser Agent ruft eine einzelne URL ab, die ein Nutzer mit einem KI-Assistenten von Meta geteilt hat. Die Referenz ist unter https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ veröffentlicht.
Tragen Sie diese User-Agent-Tokens (Meta-ExternalFetcher, meta-externalfetcher) mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie Meta-ExternalFetcher blockieren, erhält eine Person, die nach einer Ihrer URLs fragt, statt einer Zusammenfassung eine Fehlermeldung. Das ist eine Abwägung zwischen Support und Reputation, keine Frage des Trainings.