Trainingscrawlers
Applebot-Extended is een bot van Apple die pagina's verzamelt om AI-modellen mee te trainen. Apple heeft een tweede user agent, Applebot-Extended ... De naam komt nooit voor in een User-Agent-header: het is alleen een robots.txt-instructie, dus er valt bij een verzoek niets te verifiëren.
Regel in robots.txt
User-agent: Applebot-Extended
Gecontroleerd aan de hand van
Niets: wordt nooit als user agent verstuurd
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Applebot-ExtendedAlleen token: match op de substring. |
|---|---|
| Beheerder | Apple |
| Doel | Ondersteunt functies in Siri, Spotlight, Safari, Apple Intelligence en andere producten. |
| Respecteert robots.txt | Respecteert |
| Verificatiemethode | Alleen tokenNiet van toepassing, alleen een robots.txt-token Applebot-Extended wordt nooit als user agent verstuurd. Het is een robots.txt-token waarmee je Apple vertelt dat al gecrawlde pagina's niet gebruikt mogen worden voor het trainen van Apple Intelligence. Applebot blijft wel crawlen voor Siri en Spotlight. |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | Applebot-Extended |
| Documentatie van de beheerder | https://support.apple.com/en-us/119829 |
Apple heeft een tweede user agent, Applebot-Extended ... [die] wordt gebruikt om de foundation models van Apple te trainen waarop generatieve AI-functies in Apple-producten draaien, waaronder Apple Intelligence, Services en Developer Tools.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: Applebot-Extended
Disallow: /User-agent: Applebot-Extended
Allow: /User-agent: Applebot-Extended
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je Applebot-Extended blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.
Maak een bestand voor alle crawlersFAQ
Applebot-Extended is een bot van Apple die pagina's verzamelt om AI-modellen mee te trainen. Apple heeft een tweede user agent, Applebot-Extended ... De naam komt nooit voor in een User-Agent-header: het is alleen een robots.txt-instructie, dus er valt bij een verzoek niets te verifiëren.
Ja. De beheerder documenteert dat Applebot-Extended robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Applebot-Extended wordt nooit als user agent verstuurd. Het is een robots.txt-token waarmee je Apple vertelt dat al gecrawlde pagina's niet gebruikt mogen worden voor het trainen van Apple Intelligence. Applebot blijft wel crawlen voor Siri en Spotlight.
Voeg het token Applebot-Extended toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je Applebot-Extended blokkeert, worden je pagina's niet gebruikt in de volgende trainingsronde. Wat al verzameld is, wordt niet verwijderd, en het heeft geen invloed op je posities in gewone zoekmachines.