Générateur de robots.txt pour les robots d'IA

Ajoutez un groupe de règles par jeton de robot : une ligne User-agent qui nomme le robot, puis Disallow: / en dessous. Aucun caractère générique ne signifie « robots d'IA » ; pour vous retirer réellement, vous devez donc nommer les 153 jetons utilisés, alias compris. C'est ce que produit ce générateur.

Non, à condition de bloquer les bons. Googlebot, Bingbot et les autres robots des moteurs de recherche classiques ne sont pas des robots d'IA et ne figurent pas dans cette liste : rien ici n'affecte le classement du site. La règle qui vous coûte du trafic est le blocage d'un robot de recherche IA : elle retire le site des réponses rédigées par ces moteurs, ce qui est une décision distincte du refus de l'entraînement des modèles.

Les robots d'entraînement collectent des pages qui finissent dans le corpus d'entraînement d'un modèle ; les robots de recherche IA constituent l'index à partir duquel un moteur de réponses cite ses sources. Bloquer les premiers correspond au refus que visent la plupart des éditeurs, et concerne ici 61 jetons. Bloquer les seconds vous retire des réponses. Le préréglage par défaut de cette page bloque l'entraînement et la collecte de jeux de données, et laisse les moteurs de réponses de côté.

Certains le respectent, mais pour la plupart, rien n'est prouvé. Sur les 153 jetons listés ici, 9 ignorent ouvertement robots.txt selon la documentation, et 90 n'ont publié aucune politique dans un sens ou dans l'autre, ce qui ne vaut pas engagement à le respecter. robots.txt est une demande ; pour tout ce qui doit être réellement appliqué, le contrôle doit se faire au niveau de la requête elle-même.

Parce que c'est lui qui détermine si la règle peut être appliquée. Seuls 34 des 153 jetons publient un fichier de plages IP, une convention de DNS inverse ou un ASN d'opérateur que vous pouvez contrôler ; les 119 autres peuvent être saisis par n'importe qui dans un en-tête user agent. Les bloquer reste utile pour affirmer votre intention, mais cela n'arrête que ceux qui acceptent d'être arrêtés.

Oui. robots.txt s'appuie sur le jeton user agent : une règle qui nomme ClaudeBot n'a aucun effet sur une requête qui s'identifie comme Claude-Web. Chaque règle produite par ce générateur couvre les alias du robot en plus de son nom actuel, d'où un résultat plus long que le nombre de robots cochés.

À la racine du domaine, sous la forme https://example.com/robots.txt, servi en texte brut. Les règles s'appliquent par hôte et par protocole : un sous-domaine a donc besoin de son propre fichier. Si vous en avez déjà un, collez-y ces groupes au lieu de le remplacer : robots.txt ne dispose d'aucun mécanisme d'inclusion et c'est le dernier fichier déposé qui s'applique.