Scraping ist industrielles Kopieren, von Inhalten, Preisen, dem gesamten Katalog, und läuft meist automatisiert und getarnt ab. Die gute Nachricht: Der Großteil des Scrapings läuft über erkennbare Infrastruktur, sodass IP-Erkennung einen Großteil davon stoppt.
Wie moderne Scraper vorgehen
Ernsthafte Scraping-Operationen erzeugen riesige Anfragemengen und verstecken sich deshalb hinter Proxys, um Rate-Limits zu umgehen:
- Rechenzentrums-Proxys für günstige, schnelle Massenanfragen, siehe was ist ein Rechenzentrums-Proxy.
- Residential-Proxys, wenn sie wie echte Käufer aussehen müssen, siehe was ist ein Residential-Proxy.
- Rotation über Tausende IPs, um Limits pro IP zu umgehen.
Prüfen, ob eine Scraping-IP ein Proxy ist
Scraper anhand der IP erkennen
- Proxy-Erkennung: Rechenzentrums- und Residential-Proxys über die Proxy-Erkennungs-API markieren.
- Hosting-Herkunft: Massen-Scraping bevorzugt Cloud-Server; Rechenzentrums-Proxy-Erkennung erkennt sie anhand der ASN.
- Reputation: Wiederholungstäter haben eine Vorgeschichte.
Verhalten für die unauffälligen Fälle ergänzen
Die hartnäckigsten Scraper nutzen Residential-Proxys und drosseln ihr Tempo, um menschlich zu wirken. Legen Sie zusätzlich Verhaltenssignale über die IP-Analyse:
- Geschwindigkeit und Breite der Anfragen (jede Produktseite der Reihe nach aufrufen).
- Fehlende oder inkonsistente Header und ausbleibende JS-Ausführung.
- Sitzungsverlauf, den kein Mensch so erzeugen würde.
Ein Residential-Proxy-Signal plus maschinenartiges Verhalten ergibt ein sicheres Scraper-Urteil.
Blockieren, ohne die SEO zu beschädigen
Die oberste Regel: Blockieren Sie nicht die Crawler, die Sie wollen.
| Traffic | Umgang |
|---|---|
| Verifizierte Suchmaschinen-Crawler | Allowlist anhand veröffentlichter/verifizierter IP-Bereiche |
| Anfragen über Rechenzentrums-Proxys | Hart rate-limitieren oder blockieren |
| Residential-Proxy + Bot-Verhalten | Herausfordern oder blockieren |
| Normale Nutzer | Zulassen |
Umsetzung
Prüfen Sie die IP serverseitig auf scraping-anfälligen Endpunkten (Suche, Listings, Preise, APIs), bewerten Sie sie und wenden Sie die Tabelle an. Kombinieren Sie dies mit Limits pro Konto/Token, da IPs rotieren.
Fazit
Scraper verstecken sich hinter rotierenden Rechenzentrums- und Residential-Proxys. Erkennen Sie zuerst die Proxy-Infrastruktur und legen Sie dann Verhaltenssignale für die unauffälligen Residential-Fälle darüber. Setzen Sie echte Suchmaschinen-Crawler auf eine Allowlist und rate-limitieren oder blockieren Sie den Rest anhand eines bewerteten Urteils.
FAQ