Crawlers de entrenamiento
Bytespider es un bot operado por ByteDance que recopila páginas para entrenar modelos de IA. Descarga datos para entrenar LLM, incluidos competidores de ChatGPT. No se publica ninguna lista de rangos de IP ni convención de DNS inverso, así que no se puede demostrar que una solicitud con este user agent sea auténtica, y una regla en robots.txt no basta para frenar una suplantación.
La solicitud dice
"Bytespider"
Se comprueba con
Nada publicado
Comprobación en directo
No hay ninguna verificación del operador para Bytespider. Aun así, aquí ves qué es realmente la dirección.
Referencia
| User agent | BytespiderSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | ByteDance |
| Finalidad | Entrenamiento de LLM. |
| Respeta robots.txt | Ignora |
| Método de verificación | Solo declaradoNada publicado, solo user agent ByteDance no publica rangos de IP ni ninguna convención de DNS inverso para Bytespider, y se ha informado ampliamente de que rastrea de forma agresiva desde direcciones que no resuelven de vuelta a ByteDance. Limitar la frecuencia de peticiones es más fiable que una regla de robots.txt. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Bytespider |
| Documentación del operador | No hay ninguna publicada |
Descarga datos para entrenar LLM, incluidos competidores de ChatGPT.
Bytespider lo gestiona ByteDance, cuya nube, BytePlus, es una de las redes detrás del tráfico de Singapur que muchos sitios ven en sus analíticas. Tráfico de bots de China y Singapur separa los bots en la nube de los visitantes reales.
robots.txt
Según la documentación, Bytespider ignora robots.txt. Aplica también el bloqueo en tu CDN.
User-agent: Bytespider
Disallow: /User-agent: Bytespider
Allow: /User-agent: Bytespider
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Bytespider deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.
Crea un archivo para todos los rastreadoresFAQ
Bytespider es un bot operado por ByteDance que recopila páginas para entrenar modelos de IA. Descarga datos para entrenar LLM, incluidos competidores de ChatGPT. No se publica ninguna lista de rangos de IP ni convención de DNS inverso, así que no se puede demostrar que una solicitud con este user agent sea auténtica, y una regla en robots.txt no basta para frenar una suplantación.
Según informan propietarios de sitios, Bytespider no respeta robots.txt de forma fiable. Añade la regla de todos modos y revisa tus registros; si las solicitudes continúan, bloquéalo en el borde por user agent o por dirección de origen.
No puedes, al menos no a partir de la propia solicitud. ByteDance no publica rangos de IP ni ninguna convención de DNS inverso para Bytespider, y se ha informado ampliamente de que rastrea de forma agresiva desde direcciones que no resuelven de vuelta a ByteDance. Limitar la frecuencia de peticiones es más fiable que una regla de robots.txt. En su lugar, compara la IP de origen con rangos de hosting y de centros de datos, y limita la frecuencia de todo lo que se comporte como un rastreador.
Añade el token Bytespider a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Bytespider deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.