Autonome Agenten
Crawl4AI ist ein von Crawl4AI (open source) betriebener Bot, der selbstständig im Web navigiert, um mehrstufige Aufgaben zu erledigen. Crawl4AI ist eine Open-Source-Crawler-Bibliothek, die Seiten für LLM-Pipelines in Markdown umwandelt. Es gibt keine veröffentlichte Liste von IP-Bereichen und keine Reverse-DNS-Konvention. Eine Anfrage mit diesem User-Agent lässt sich daher nicht als echt nachweisen, und eine robots.txt-Regel allein hält eine Fälschung nicht auf.
Anfrage gibt an
"Crawl4AI"
Geprüft anhand
Nichts veröffentlicht
Live-Prüfung
Für Crawl4AI gibt es keine Prüfung anhand von Angaben des Betreibers. Sie sehen trotzdem, was die Adresse tatsächlich ist.
Referenz
| User-Agent | Crawl4AINur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Crawl4AI (open source) |
| Zweck | Autonome Agenten |
| Beachtet robots.txt | Keine Richtlinie |
| Verifizierungsmethode | Nur AngabeNichts veröffentlicht, nur User-Agent Open-Source-Crawler-Bibliothek, mit der Seiten in LLM-Pipelines eingespeist werden. Jeder kann sie unter einem beliebigen User-Agent betreiben, daher ist dieser Token eine freiwillige Angabe und kein Identitätsnachweis. |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | Crawl4AI |
| Dokumentation des Betreibers | Keine veröffentlicht |
Crawl4AI ist eine Open-Source-Crawler-Bibliothek, die Seiten für LLM-Pipelines in Markdown umwandelt. Der Token ist das, was die betreibende Person in der Konfiguration eingetragen hat.
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: Crawl4AI
Disallow: /User-agent: Crawl4AI
Allow: /User-agent: Crawl4AI
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie Crawl4AI blockieren, unterbinden Sie automatisierte Sitzungen, die Formulare ausfüllen, Abläufe durchklicken und Seiten so lesen wie ein angemeldeter Benutzer. Rate Limits und Challenges wirken hier meist besser als eine robots.txt-Zeile.
Eine Datei für alle Crawler erstellenFAQ
Crawl4AI ist ein von Crawl4AI (open source) betriebener Bot, der selbstständig im Web navigiert, um mehrstufige Aufgaben zu erledigen. Crawl4AI ist eine Open-Source-Crawler-Bibliothek, die Seiten für LLM-Pipelines in Markdown umwandelt. Es gibt keine veröffentlichte Liste von IP-Bereichen und keine Reverse-DNS-Konvention. Eine Anfrage mit diesem User-Agent lässt sich daher nicht als echt nachweisen, und eine robots.txt-Regel allein hält eine Fälschung nicht auf.
Nicht dokumentiert. Es gibt keine Aussage eines Betreibers dazu, ob Crawl4AI robots.txt liest. Fügen Sie die Regel hinzu, prüfen Sie aber in Ihren Logs, ob die Anfragen tatsächlich aufhören.
Das ist nicht möglich, zumindest nicht anhand der Anfrage selbst. Open-Source-Crawler-Bibliothek, mit der Seiten in LLM-Pipelines eingespeist werden. Jeder kann sie unter einem beliebigen User-Agent betreiben, daher ist dieser Token eine freiwillige Angabe und kein Identitätsnachweis. Gleichen Sie stattdessen die Quell-IP mit Hosting- und Rechenzentrumsbereichen ab und begrenzen Sie die Rate bei allem, was sich wie ein Crawler verhält.
Tragen Sie das Token Crawl4AI mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie Crawl4AI blockieren, unterbinden Sie automatisierte Sitzungen, die Formulare ausfüllen, Abläufe durchklicken und Seiten so lesen wie ein angemeldeter Benutzer. Rate Limits und Challenges wirken hier meist besser als eine robots.txt-Zeile.