Web Scraper erkennen und blockieren
Scraper stehlen Inhalte, Preise und Daten in großem Stil, meist hinter Proxys. Erfahren Sie, wie Sie Scraping anhand von IP und Verhalten erkennen und blockieren, ohne der SEO zu schaden.
Scraping ist industrielles Kopieren, von Inhalten, Preisen, dem gesamten Katalog, und läuft meist automatisiert und getarnt ab. Die gute Nachricht: Der Großteil des Scrapings läuft über erkennbare Infrastruktur, sodass IP-Erkennung einen Großteil davon stoppt.
Wie moderne Scraper vorgehen
Ernsthafte Scraping-Operationen erzeugen riesige Anfragemengen und verstecken sich deshalb hinter Proxys, um Rate-Limits zu umgehen:
- Rechenzentrums-Proxys für günstige, schnelle Massenanfragen, siehe was ist ein Rechenzentrums-Proxy.
- Residential-Proxys, wenn sie wie echte Käufer aussehen müssen, siehe was ist ein Residential-Proxy.
- Rotation über Tausende IPs, um Limits pro IP zu umgehen.
Prüfen, ob eine Scraping-IP ein Proxy ist
Scraper anhand der IP erkennen
- Proxy-Erkennung: Rechenzentrums- und Residential-Proxys über die Proxy-Erkennungs-API markieren.
- Hosting-Herkunft: Massen-Scraping bevorzugt Cloud-Server; Rechenzentrums-Proxy-Erkennung erkennt sie anhand der ASN.
- Reputation: Wiederholungstäter haben eine Vorgeschichte.
Verhalten für die unauffälligen Fälle ergänzen
Die hartnäckigsten Scraper nutzen Residential-Proxys und drosseln ihr Tempo, um menschlich zu wirken. Legen Sie zusätzlich Verhaltenssignale über die IP-Analyse:
- Geschwindigkeit und Breite der Anfragen (jede Produktseite der Reihe nach aufrufen).
- Fehlende oder inkonsistente Header und ausbleibende JS-Ausführung.
- Sitzungsverlauf, den kein Mensch so erzeugen würde.
Ein Residential-Proxy-Signal plus maschinenartiges Verhalten ergibt ein sicheres Scraper-Urteil.
Blockieren, ohne die SEO zu beschädigen
Die oberste Regel: Blockieren Sie nicht die Crawler, die Sie wollen.
| Traffic | Umgang |
|---|---|
| Verifizierte Suchmaschinen-Crawler | Allowlist anhand veröffentlichter/verifizierter IP-Bereiche |
| Anfragen über Rechenzentrums-Proxys | Hart rate-limitieren oder blockieren |
| Residential-Proxy + Bot-Verhalten | Herausfordern oder blockieren |
| Normale Nutzer | Zulassen |
Umsetzung
Prüfen Sie die IP serverseitig auf scraping-anfälligen Endpunkten (Suche, Listings, Preise, APIs), bewerten Sie sie und wenden Sie die Tabelle an. Kombinieren Sie dies mit Limits pro Konto/Token, da IPs rotieren.
Fazit
Scraper verstecken sich hinter rotierenden Rechenzentrums- und Residential-Proxys. Erkennen Sie zuerst die Proxy-Infrastruktur und legen Sie dann Verhaltenssignale für die unauffälligen Residential-Fälle darüber. Setzen Sie echte Suchmaschinen-Crawler auf eine Allowlist und rate-limitieren oder blockieren Sie den Rest anhand eines bewerteten Urteils.