KI-Such-Crawler
meta-webindexer ist ein von Meta betriebener Bot, der Seiten indexiert, damit eine KI-Antwortmaschine sie zitieren kann. Laut Dokumentation: „Der Meta-WebIndexer-Crawler durchsucht das Web, um die Qualität der Suchergebnisse von Meta AI für Nutzer zu verbessern. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als meta-webindexer ausgibt, dient die vom Betreiber angekündigte ASN.
Anfrage gibt an
"meta-webindexer"
Geprüft anhand
ASN von Meta
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | meta-webindexerNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Meta |
| Zweck | KI-Such-Crawler |
| Beachtet robots.txt | Keine Richtlinie |
| Verifizierungsmethode | ASN des BetreibersPrüfung der Betreiber-ASN Prüfen Sie die Quell-IP gegen AS32934. Meta veröffentlicht keine Bereichsdatei pro Bot. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Crawl-Muster | Ungebremst, mehr als 1 pro Sekunde. |
| robots.txt-Tokens | meta-webindexer |
| Dokumentation des Betreibers | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Laut Dokumentation: „Der Meta-WebIndexer-Crawler durchsucht das Web, um die Qualität der Suchergebnisse von Meta AI für Nutzer zu verbessern. Dabei analysiert Meta Online-Inhalte, um die Relevanz und Genauigkeit von Meta AI zu erhöhen. Wenn Sie Meta-WebIndexer in Ihrer robots.txt zulassen, können wir Ihre Inhalte in den Antworten von Meta AI zitieren und verlinken.“
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: meta-webindexer
Disallow: /User-agent: meta-webindexer
Allow: /User-agent: meta-webindexer
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie meta-webindexer blockieren, wird die Website aus dem Index entfernt, auf dem seine Antworten beruhen, und dort nicht mehr zitiert. Wenn Ihnen Verweis-Traffic aus KI-Antworten wichtig ist, blockieren Sie stattdessen den Trainings-Crawler und lassen Sie diesen zu.
Eine Datei für alle Crawler erstellenFAQ
meta-webindexer ist ein von Meta betriebener Bot, der Seiten indexiert, damit eine KI-Antwortmaschine sie zitieren kann. Laut Dokumentation: „Der Meta-WebIndexer-Crawler durchsucht das Web, um die Qualität der Suchergebnisse von Meta AI für Nutzer zu verbessern. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als meta-webindexer ausgibt, dient die vom Betreiber angekündigte ASN.
Nicht dokumentiert. Es gibt keine Aussage eines Betreibers dazu, ob meta-webindexer robots.txt liest. Fügen Sie die Regel hinzu, prüfen Sie aber in Ihren Logs, ob die Anfragen tatsächlich aufhören.
Prüfen Sie die Quell-IP gegen AS32934. Meta veröffentlicht keine Bereichsdatei pro Bot. Die Referenz ist unter https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ veröffentlicht.
Tragen Sie das Token meta-webindexer mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie meta-webindexer blockieren, wird die Website aus dem Index entfernt, auf dem seine Antworten beruhen, und dort nicht mehr zitiert. Wenn Ihnen Verweis-Traffic aus KI-Antworten wichtig ist, blockieren Sie stattdessen den Trainings-Crawler und lassen Sie diesen zu.