Crawlers de entrenamiento
Applebot-Extended es un bot operado por Apple que recopila páginas para entrenar modelos de IA. Apple tiene un user agent secundario, Applebot-Extended ... El nombre nunca aparece en una cabecera User-Agent: es solo una directiva de robots.txt, así que no hay nada que verificar en el momento de la solicitud.
Línea de robots.txt
User-agent: Applebot-Extended
Se comprueba con
Nada: nunca se envía como user agent
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Applebot-ExtendedSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Apple |
| Finalidad | Se usa en funciones de Siri, Spotlight, Safari, Apple Intelligence y otros. |
| Respeta robots.txt | Respeta |
| Método de verificación | Solo tokenNo aplica, solo es un token de robots.txt Applebot-Extended nunca se envía como user agent. Es un token de robots.txt que indica a Apple que no use páginas ya rastreadas para entrenar Apple Intelligence, mientras Applebot sigue rastreando para Siri y Spotlight. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Applebot-Extended |
| Documentación del operador | https://support.apple.com/en-us/119829 |
Apple tiene un user agent secundario, Applebot-Extended ... [que se] usa para entrenar los modelos fundacionales de Apple en los que se basan las funciones de IA generativa de los productos de Apple, incluidos Apple Intelligence, Services y Developer Tools.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Applebot-Extended
Disallow: /User-agent: Applebot-Extended
Allow: /User-agent: Applebot-Extended
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Applebot-Extended deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.
Crea un archivo para todos los rastreadoresFAQ
Applebot-Extended es un bot operado por Apple que recopila páginas para entrenar modelos de IA. Apple tiene un user agent secundario, Applebot-Extended ... El nombre nunca aparece en una cabecera User-Agent: es solo una directiva de robots.txt, así que no hay nada que verificar en el momento de la solicitud.
Sí. El operador documenta que Applebot-Extended lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Applebot-Extended nunca se envía como user agent. Es un token de robots.txt que indica a Apple que no use páginas ya rastreadas para entrenar Apple Intelligence, mientras Applebot sigue rastreando para Siri y Spotlight.
Añade el token Applebot-Extended a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Applebot-Extended deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.