robots.txt-generator voor AI-crawlers

Voeg per crawlertoken één regelgroep toe: een User-agent-regel met de naam van de bot, met daaronder Disallow: /. Er bestaat geen wildcard die "AI-crawlers" betekent, dus voor een echte opt-out moet je alle 153 gebruikte tokens noemen, inclusief aliassen. Dat is wat deze generator schrijft.

Nee, zolang je de juiste blokkeert. Googlebot, Bingbot en de andere gewone zoekcrawlers zijn geen AI-crawlers en staan niet in deze lijst, dus niets hiervan heeft invloed op je ranking. Wat je wel verkeer kost, is het blokkeren van een AI-zoekcrawler: daarmee verdwijnt je site uit de antwoorden die die zoekmachines schrijven. Dat is een andere keuze dan je afmelden voor modeltraining.

Trainingscrawlers verzamelen pagina's die in het trainingscorpus van een model terechtkomen; AI-zoekcrawlers bouwen de index waaruit een antwoordmachine citeert. De eerste blokkeren is de opt-out die de meeste uitgevers bedoelen, en dat gaat hier om 61 tokens. De tweede blokkeren haalt je uit de antwoorden. De standaardpreset op deze pagina blokkeert training en het verzamelen van datasets en laat antwoordmachines met rust.

Sommige wel, bij de meeste is dat niet aangetoond. Van 9 van de 153 tokens in deze lijst is gedocumenteerd dat ze robots.txt gewoon negeren, en 90 hebben helemaal geen beleid gepubliceerd. Dat is iets anders dan een belofte om zich eraan te houden. robots.txt is een verzoek; wat je echt wilt afdwingen, moet je bij het request zelf controleren.

Omdat die bepaalt of de regel af te dwingen is. Slechts 34 van de 153 tokens publiceren een bestand met IP-ranges, een reverse-DNS-conventie of een ASN van de operator waartegen je kunt controleren; de overige 119 kan iedereen in een user-agent-header zetten. Die blokkeren is nog steeds zinvol als intentieverklaring, maar je houdt er alleen mee tegen wie zich laat tegenhouden.

Ja. robots.txt matcht op het user-agent-token, dus een regel voor ClaudeBot doet niets met een request dat zich als Claude-Web identificeert. Elke regel die deze generator schrijft, dekt naast de huidige naam ook de aliassen van de crawler. Daarom is de uitvoer langer dan het aantal crawlers dat je hebt aangevinkt.

In de root van het domein, als https://example.com/robots.txt, geserveerd als platte tekst. Regels gelden per host en per protocol, dus een subdomein heeft een eigen bestand nodig. Heb je er al een, plak deze groepen er dan in in plaats van het te vervangen: robots.txt kent geen include-mechanisme en het laatste bestand wint.