Sonstige automatisierte Crawler

QuillBot

QuillBot ist ein Bot, der das Web automatisch crawlt. Wird von QuillBot als Teil seiner KI-Produktpalette betrieben. Es gibt keine veröffentlichte Liste von IP-Bereichen und keine Reverse-DNS-Konvention. Eine Anfrage mit diesem User-Agent lässt sich daher nicht als echt nachweisen, und eine robots.txt-Regel allein hält eine Fälschung nicht auf.

QuillbotNur Angaberobots.txt:Keine Richtlinie

Live-Prüfung

Eine IP prüfen, die sich als QuillBot ausgab

Für QuillBot gibt es keine Prüfung anhand von Angaben des Betreibers. Sie sehen trotzdem, was die Adresse tatsächlich ist.

Referenz

QuillBot im Überblick

Referenzdaten zum Crawler QuillBot
User-AgentQuillBot

Nur Token: auf den Teilstring prüfen.

BetreiberQuillbot
ZweckDas Unternehmen bietet KI-Erkennung, Schreibwerkzeuge und weitere Dienste an.
Beachtet robots.txtKeine Richtlinie
VerifizierungsmethodeNur AngabeNichts veröffentlicht, nur User-Agent

Für diesen Agenten wurden weder eine Datei mit IP-Bereichen noch eine Reverse-DNS-Konvention veröffentlicht. Der User-Agent-String ist das einzige Merkmal, und jeder Client kann ihn senden. Werten Sie eine Übereinstimmung daher als Behauptung, nicht als Beweis.

Crawl-MusterKeine ausdrückliche Angabe zur Häufigkeit.
robots.txt-TokensQuillBotquillbot.com
Dokumentation des BetreibersKeine veröffentlicht

Wird von QuillBot als Teil seiner KI-Produktpalette betrieben.

robots.txt

QuillBot zulassen oder blockieren

Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.

QuillBot blockieren
User-agent: QuillBot
User-agent: quillbot.com
Disallow: /
QuillBot zulassen
User-agent: QuillBot
User-agent: quillbot.com
Allow: /
Zulassen, außer für Seiten, die nie zitiert werden sollen
User-agent: QuillBot
User-agent: quillbot.com
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

Passen Sie die Disallow-Pfade an Ihre eigenen URLs an.

Was Sie eine Sperre tatsächlich kostet

Wenn Sie QuillBot blockieren, stoppen Sie nur dieses eine Token. Prüfen Sie danach Ihre Logs, denn Betreiber, die robots.txt ignorieren, kommen oft unter einem anderen Namen wieder.

Eine Datei für alle Crawler erstellen

FAQ

Fragen zu QuillBot

Was ist QuillBot?

QuillBot ist ein Bot, der das Web automatisch crawlt. Wird von QuillBot als Teil seiner KI-Produktpalette betrieben. Es gibt keine veröffentlichte Liste von IP-Bereichen und keine Reverse-DNS-Konvention. Eine Anfrage mit diesem User-Agent lässt sich daher nicht als echt nachweisen, und eine robots.txt-Regel allein hält eine Fälschung nicht auf.

Beachtet QuillBot robots.txt?

Nicht dokumentiert. Es gibt keine Aussage eines Betreibers dazu, ob QuillBot robots.txt liest. Fügen Sie die Regel hinzu, prüfen Sie aber in Ihren Logs, ob die Anfragen tatsächlich aufhören.

Wie kann ich prüfen, ob eine Anfrage wirklich von QuillBot stammt?

Das ist nicht möglich, zumindest nicht anhand der Anfrage selbst. Für diesen Agenten wurden weder eine Datei mit IP-Bereichen noch eine Reverse-DNS-Konvention veröffentlicht. Der User-Agent-String ist das einzige Merkmal, und jeder Client kann ihn senden. Werten Sie eine Übereinstimmung daher als Behauptung, nicht als Beweis. Gleichen Sie stattdessen die Quell-IP mit Hosting- und Rechenzentrumsbereichen ab und begrenzen Sie die Rate bei allem, was sich wie ein Crawler verhält.

Wie blockiere ich QuillBot?

Tragen Sie diese User-Agent-Tokens (QuillBot, quillbot.com) mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.

Schadet das Blockieren von QuillBot meinem Suchranking?

Wenn Sie QuillBot blockieren, stoppen Sie nur dieses eine Token. Prüfen Sie danach Ihre Logs, denn Betreiber, die robots.txt ignorieren, kommen oft unter einem anderen Namen wieder.

    QuillBot (Quillbot): User-Agent, IP-Verifizierung & robots.txt | IPScanner