IPScanner

Annuaire des robots d'exploration IA

Tous les robots d'exploration IA, et comment savoir s'ils sont authentiques

Qui exploite chaque robot d'exploration IA, ce qu'il envoie, et s'il est possible de prouver qu'une requête utilisant son nom vient bien de lui.

Générateur de robots.txt

Déclaration seule

78%

119 jetons de robot d'exploration sur 153 ne publient aucun moyen de vérifier une requête.

VérifiableDéclaration seule
34
peuvent être vérifiés
9
ignorent robots.txt
90
aucune politique robots.txt

D'après la liste ai.robots.txt et la documentation des opérateurs, recoupées avec ce que publie chaque opérateur. Mise à jour : .

Robots d'entraînement

21

Collectent des pages pour le corpus d'entraînement d'un modèle. Les bloquer est la méthode habituelle pour refuser l'usage par l'IA.

Robots d'entraînement : jeton user agent, opérateur, méthode de vérification et politique robots.txt
AI2BotAi2Bot-DolmaAi2Déclaration uniquementrobots.txt:Respecte
anthropic-aiAnthropicPlages d'IProbots.txt:Aucune politique
Applebot-ExtendedAppleJeton uniquementrobots.txt:Respecte
BytespiderByteDanceDéclaration uniquementrobots.txt:Ignore
ClaudeBotAnthropicPlages d'IProbots.txt:Respecte
cohere-aiCohereDéclaration uniquementrobots.txt:Aucune politique
CotoyogiROISDéclaration uniquementrobots.txt:Respecte
DeepSeekBotDeepSeekDéclaration uniquementrobots.txt:Ignore
FacebookBotMeta/FacebookASN de l'opérateurrobots.txt:Respecte
Factset_spyderbotFactsetDéclaration uniquementrobots.txt:Aucune politique
FriendlyCrawlerUnknownDéclaration uniquementrobots.txt:Respecte
Google-ExtendedGoogleJeton uniquementrobots.txt:Respecte
GPTBotOpenAIPlages d'IProbots.txt:Respecte
ICC-CrawlerNICTDéclaration uniquementrobots.txt:Respecte
img2datasetimg2datasetDéclaration uniquementrobots.txt:Aucune politique
ISSCyberRiskCrawlerISS-CorporateDéclaration uniquementrobots.txt:Ignore
Linguee BotLingueeDéclaration uniquementrobots.txt:Ignore
Meta-ExternalAgentmeta-externalagentMetaASN de l'opérateurrobots.txt:Respecte
ScrapyZyteDéclaration uniquementrobots.txt:Aucune politique
Sidetrade indexer botSidetradeDéclaration uniquementrobots.txt:Aucune politique
TikTokSpiderByteDanceDéclaration uniquementrobots.txt:Aucune politique

Récupérateurs d'assistants

26

Récupèrent une page parce qu'une personne a interrogé un assistant à son sujet. Certains ignorent robots.txt.

Récupérateurs d'assistants : jeton user agent, opérateur, méthode de vérification et politique robots.txt
AI2Bot-DeepResearchEvalAi2, a non-profit AI research instituteDéclaration uniquementrobots.txt:Aucune politique
amazon-QBusinessAmazon Web ServicesDéclaration uniquementrobots.txt:Aucune politique
Amzn-UserAmazonDNS inverserobots.txt:Aucune politique
bigsur.aiNon identifiéDéclaration uniquementrobots.txt:Aucune politique
ChatGPT-UserOpenAIPlages d'IProbots.txt:Respecte
Claude-UserAnthropicPlages d'IProbots.txt:Respecte
DuckAssistBotNon identifiéPlages d'IProbots.txt:Respecte
GeistHaus-PageFetcherNon identifiéDéclaration uniquementrobots.txt:Aucune politique
Gemini-Deep-ResearchGoogleDéclaration uniquementrobots.txt:Aucune politique
Google-NotebookLMNotebookLMGooglePlages d'IProbots.txt:Aucune politique
GoogleAgent-URLContextGoogleDéclaration uniquementrobots.txt:Aucune politique
kagi-fetcherNon identifiéDéclaration uniquementrobots.txt:Aucune politique
Kimi-UserMoonshot AIDéclaration uniquementrobots.txt:Aucune politique
KlaviyoAIBotKlaviyoDéclaration uniquementrobots.txt:Respecte
LinerBotNon identifiéDéclaration uniquementrobots.txt:Aucune politique
Meta-ExternalFetchermeta-externalfetcherMetaASN de l'opérateurrobots.txt:Ignore
MistralAI-UserMistralAI-User/1.0MistralDéclaration uniquementrobots.txt:Aucune politique
Perplexity-UserPerplexityPlages d'IProbots.txt:Ignore
PhindBotphindDéclaration uniquementrobots.txt:Aucune politique
Poggio-CitationsNon identifiéDéclaration uniquementrobots.txt:Aucune politique
QualifiedBotQualifiedDéclaration uniquementrobots.txt:Aucune politique
SemrushBot-SWASemrushDéclaration uniquementrobots.txt:Respecte
Shap-UserParallelDéclaration uniquementrobots.txt:Aucune politique
TongyiBotAlibabaDéclaration uniquementrobots.txt:Aucune politique
UseAINon identifiéDéclaration uniquementrobots.txt:Aucune politique
YiyanBotBaidu that fetches web content for the yiyanDéclaration uniquementrobots.txt:Aucune politique

Agents autonomes

18

Pilotent un navigateur pour accomplir des tâches en plusieurs étapes, à la manière d'une session humaine.

Agents autonomes : jeton user agent, opérateur, méthode de vérification et politique robots.txt
AmazonBuyForMeAmazonDéclaration uniquementrobots.txt:Aucune politique
Aranet-SearchBotNon identifiéDéclaration uniquementrobots.txt:Aucune politique
ChatGPT AgentOpenAIPlages d'IProbots.txt:Respecte
Claude-WebAnthropicPlages d'IProbots.txt:Aucune politique
Crawl4AICrawl4AI (open source)Déclaration uniquementrobots.txt:Aucune politique
Google-AgentGoogleDéclaration uniquementrobots.txt:Respecte
Google-CloudVertexBotCloudVertexBotGooglePlages d'IProbots.txt:Respecte
GoogleAgent-MarinerGoogleDéclaration uniquementrobots.txt:Aucune politique
iAskBotiaskspider, iaskspider/2.0iAskDéclaration uniquementrobots.txt:Aucune politique
KunatoCrawlerNon identifiéDéclaration uniquementrobots.txt:Aucune politique
Manus-UserButterfly Effect, a company based in ChinaDéclaration uniquementrobots.txt:Aucune politique
NagetBotNon identifiéDéclaration uniquementrobots.txt:Aucune politique
newsaiNon identifiéDéclaration uniquementrobots.txt:Aucune politique
NovaActAmazonDéclaration uniquementrobots.txt:Aucune politique
OperatorOpenAIPlages d'IProbots.txt:Aucune politique
ReflectionbotReflectionDéclaration uniquementrobots.txt:Aucune politique
TwinAgentNon identifiéDéclaration uniquementrobots.txt:Aucune politique
WRTNBotWrtn TechnologiesDéclaration uniquementrobots.txt:Aucune politique

Agents de programmation

7

Récupèrent de la documentation et des exemples pendant qu'une IA écrit du code, souvent depuis le poste d'un développeur.

Agents de programmation : jeton user agent, opérateur, méthode de vérification et politique robots.txt
Claude-CodeAnthropicPlages d'IProbots.txt:Aucune politique
CodeGitHub CopilotDéclaration uniquementrobots.txt:Aucune politique
CursorCursorDéclaration uniquementrobots.txt:Aucune politique
DevinDevin AIDéclaration uniquementrobots.txt:Respecte
Google-Gemini-CLIGoogleDéclaration uniquementrobots.txt:Aucune politique
opencodeopencode (open source)Déclaration uniquementrobots.txt:Aucune politique
TraeByteDanceDéclaration uniquementrobots.txt:Aucune politique

Constructeurs de jeux de données

40

Collectent des pages dans des jeux de données susceptibles d'être réutilisés, concédés sous licence ou partagés.

Constructeurs de jeux de données : jeton user agent, opérateur, méthode de vérification et politique robots.txt
AgentTimesThe Agent TimesDéclaration uniquementrobots.txt:Aucune politique
aiHitBotaiHitDéclaration uniquementrobots.txt:Respecte
ApifyBotNon identifiéDéclaration uniquementrobots.txt:Aucune politique
ApifyWebsiteContentCrawlerNon identifiéDéclaration uniquementrobots.txt:Aucune politique
AwarioAwarioDéclaration uniquementrobots.txt:Aucune politique
bedrockbotAmazonDéclaration uniquementrobots.txt:Respecte
BravebotBraveDéclaration uniquementrobots.txt:Respecte
BrightbotBrightbot 1.0Non identifiéDéclaration uniquementrobots.txt:Aucune politique
CCBotCommon Crawl FoundationDéclaration uniquementrobots.txt:Respecte
ChatGLM-SpiderZhipu AIDéclaration uniquementrobots.txt:Aucune politique
cohere-training-data-crawlerCohereDéclaration uniquementrobots.txt:Aucune politique
CragCrawlerNon identifiéDéclaration uniquementrobots.txt:Aucune politique
CrawlspaceCrawlspaceDéclaration uniquementrobots.txt:Respecte
Datenbank CrawlerDatenbankDéclaration uniquementrobots.txt:Aucune politique
DiffbotDiffbotDéclaration uniquementrobots.txt:Aucune politique
Echobot BotEchoboxDéclaration uniquementrobots.txt:Aucune politique
ExaBotExaDéclaration uniquementrobots.txt:Aucune politique
FirecrawlAgentFirecrawlDéclaration uniquementrobots.txt:Respecte
HenkBotNon identifiéDéclaration uniquementrobots.txt:Aucune politique
imageSpiderNon identifiéDéclaration uniquementrobots.txt:Aucune politique
Kangaroo BotKangaroo LLMDéclaration uniquementrobots.txt:Aucune politique
laion-huggingface-processorLAIONDéclaration uniquementrobots.txt:Aucune politique
LAIONDownloaderLarge-scale Artificial Intelligence Open NetworkDéclaration uniquementrobots.txt:Ignore
LCCNon identifiéDéclaration uniquementrobots.txt:Aucune politique
LightpandaNon identifiéDéclaration uniquementrobots.txt:Aucune politique
Mozilla-TabstackMozillaDéclaration uniquementrobots.txt:Respecte
MyCentralAIScraperBotNon identifiéDéclaration uniquementrobots.txt:Aucune politique
netEstate Imprint CrawlernetEstateDéclaration uniquementrobots.txt:Aucune politique
omgiliomgilibotWebz.ioDéclaration uniquementrobots.txt:Respecte
PanguBotthe Chinese company HuaweiDéclaration uniquementrobots.txt:Aucune politique
QueritBotQuerit-SearchBotQueritDéclaration uniquementrobots.txt:Aucune politique
SemrushBot-OCOBSemrushDéclaration uniquementrobots.txt:Respecte
ShapBotParallelDéclaration uniquementrobots.txt:Respecte
SpiderNon identifiéDéclaration uniquementrobots.txt:Aucune politique
TavilyBotTavilyDéclaration uniquementrobots.txt:Aucune politique
TerraCottaTerra CottaCeramic AIDéclaration uniquementrobots.txt:Respecte
VelenPublicWebCrawlerVelen CrawlerDéclaration uniquementrobots.txt:Respecte
WARDBotWEBSPARKDéclaration uniquementrobots.txt:Aucune politique
Webzio-Extendedwebzio-extendedNon identifiéDéclaration uniquementrobots.txt:Aucune politique
YandexAdditionalYandexAdditionalBotYandexDNS inverserobots.txt:Respecte

Autres robots automatisés

12

Bots utilisés dans des flux de travail IA qui n'entrent dans aucune des catégories ci-dessus.

Autres robots automatisés : jeton user agent, opérateur, méthode de vérification et politique robots.txt
BuddyBotBuddyBotLearningDéclaration uniquementrobots.txt:Aucune politique
EchoboxBotEchoboxDéclaration uniquementrobots.txt:Aucune politique
facebookexternalhitMeta/FacebookASN de l'opérateurrobots.txt:Ignore
Google-FirebaseGoogleDéclaration uniquementrobots.txt:Aucune politique
OpenAIOpenAIPlages d'IProbots.txt:Respecte
Panscientpanscient.comPanscientDéclaration uniquementrobots.txt:Respecte
Poseidon Research CrawlerPoseidon ResearchDéclaration uniquementrobots.txt:Aucune politique
QuillBotquillbot.comQuillbotDéclaration uniquementrobots.txt:Aucune politique
SBIntuitionsBotSB IntuitionsDéclaration uniquementrobots.txt:Respecte
ThinkbotThinkbotDéclaration uniquementrobots.txt:Ignore
wpbotQuantumCloudDéclaration uniquementrobots.txt:Aucune politique
YaKMeltwaterDéclaration uniquementrobots.txt:Aucune politique

robots.txt

Bloquer tous les robots d'exploration IA en une seule fois

Une règle par jeton, alias compris. 9 d'entre eux ignorent ce fichier : complétez-le donc par des règles appliquées en périphérie du réseau.

Bloquer les 153 robots
User-agent: AddSearchBot
User-agent: AgentTimes
User-agent: AI2Bot
User-agent: AI2Bot-DeepResearchEval
User-agent: Ai2Bot-Dolma
User-agent: aiHitBot
User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
User-agent: amazon-kendra
User-agent: amazon-QBusiness
User-agent: Amazonbot
User-agent: AmazonBuyForMe
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Andibot
User-agent: Anomura
User-agent: anthropic-ai
User-agent: ApifyBot
User-agent: ApifyWebsiteContentCrawler
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Aranet-SearchBot
User-agent: atlassian-bot
User-agent: Awario
User-agent: AzureAI-SearchBot
User-agent: bedrockbot
User-agent: bigsur.ai
User-agent: Bingbot
User-agent: Bravebot
User-agent: Brightbot
User-agent: Brightbot 1.0
User-agent: BuddyBot
User-agent: Bytespider
User-agent: CCBot
User-agent: Channel3Bot
User-agent: ChatGLM-Spider
User-agent: ChatGPT Agent
User-agent: ChatGPT-User
User-agent: Claude-Code
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Cloudflare-AutoRAG
User-agent: CloudVertexBot
User-agent: Code
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: Cotoyogi
User-agent: CragCrawler
User-agent: Crawl4AI
User-agent: Crawlspace
User-agent: Cursor
User-agent: Datenbank Crawler
User-agent: DeepSeekBot
User-agent: Devin
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: DuckDuckBot
User-agent: Echobot Bot
User-agent: EchoboxBot
User-agent: ExaBot
User-agent: ExaSearchBot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: Factset_spyderbot
User-agent: FirecrawlAgent
User-agent: FriendlyCrawler
User-agent: GeistHaus-PageFetcher
User-agent: Gemini-Deep-Research
User-agent: Google-Agent
User-agent: Google-CloudVertexBot
User-agent: Google-Extended
User-agent: Google-Firebase
User-agent: Google-Gemini-CLI
User-agent: Google-NotebookLM
User-agent: GoogleAgent-Mariner
User-agent: GoogleAgent-URLContext
User-agent: Googlebot
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: HenkBot
User-agent: iAskBot
User-agent: iaskspider
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: imageSpider
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: kagi-fetcher
User-agent: Kangaroo Bot
User-agent: Kimi-User
User-agent: KlaviyoAIBot
User-agent: KunatoCrawler
User-agent: laion-huggingface-processor
User-agent: LAIONDownloader
User-agent: LCC
User-agent: Lightpanda
User-agent: LinerBot
User-agent: Linguee Bot
User-agent: LinkupBot
User-agent: Manus-User
User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
User-agent: meta-externalfetcher
User-agent: Meta-ExternalFetcher
User-agent: meta-webindexer
User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
User-agent: Mozilla-Tabstack
User-agent: MyCentralAIScraperBot
User-agent: NagetBot
User-agent: netEstate Imprint Crawler
User-agent: newsai
User-agent: NotebookLM
User-agent: NovaAct
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: OpenAI
User-agent: opencode
User-agent: Operator
User-agent: PanguBot
User-agent: Panscient
User-agent: panscient.com
User-agent: Perplexity-User
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: PhindBot
User-agent: Poggio-Citations
User-agent: Poseidon Research Crawler
User-agent: QualifiedBot
User-agent: Querit-SearchBot
User-agent: QueritBot
User-agent: QuillBot
User-agent: quillbot.com
User-agent: Reflectionbot
User-agent: SBIntuitionsBot
User-agent: Scrapy
User-agent: SemrushBot-OCOB
User-agent: SemrushBot-SWA
User-agent: Shap-User
User-agent: ShapBot
User-agent: Sidetrade indexer bot
User-agent: Spider
User-agent: TavilyBot
User-agent: Terra Cotta
User-agent: TerraCotta
User-agent: Thinkbot
User-agent: TikTokSpider
User-agent: Timpibot
User-agent: TongyiBot
User-agent: Trae
User-agent: TwinAgent
User-agent: UseAI
User-agent: VelenPublicWebCrawler
User-agent: WARDBot
User-agent: webzio-extended
User-agent: Webzio-Extended
User-agent: wpbot
User-agent: WRTNBot
User-agent: YaK
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: YiyanBot
User-agent: YouBot
User-agent: ZanistaBot
Disallow: /

Analyse de logs

Vérifiez votre propre journal d'accès

Collez une centaine de lignes. Chaque robot qui s'y déclare est vérifié par rapport à ce que publie son opérateur.

FAQ

Questions auxquelles répond cet annuaire

Quels robots d'exploration IA ignorent robots.txt ?

Sur les 153 jetons répertoriés ici, 9 sont documentés comme ignorant robots.txt : Bytespider, DeepSeekBot, facebookexternalhit, ISSCyberRiskCrawler, LAIONDownloader, Linguee Bot, Meta-ExternalFetcher, Perplexity-User, Thinkbot. 90 autres n'ont publié aucune politique dans un sens ou dans l'autre, ce qui n'équivaut pas à un engagement à le respecter. Pour ceux-là, une règle robots.txt reste une simple demande, tandis qu'une règle appliquée en périphérie du réseau la fait respecter.

Comment vérifier qu'un robot d'exploration IA est authentique ?

En contrôlant l'IP source, jamais le user agent. Trois éléments sont vérifiables : un fichier publié de plages d'IP, une convention de DNS inverse confirmé par résolution directe, ou un ASN appartenant à l'opérateur. Seuls 34 des 153 jetons répertoriés ici publient l'un d'eux ; pour les autres, il n'existe aucune référence à laquelle se fier.

La chaîne user agent suffit-elle à identifier un robot d'exploration ?

Non. Le user agent est un en-tête choisi par le client : n'importe qui peut donc l'envoyer. Les scrapers copient les chaînes des robots connus précisément parce que les propriétaires de sites les laissent passer. Considérez le user agent comme une simple déclaration et l'IP comme la preuve.

Bloquer un robot d'entraînement retire-t-il mon contenu du modèle ?

Non. Le blocage empêche les explorations futures ; il ne supprime rien de ce qui a déjà été collecté et n'a aucun effet sur ce qu'un modèle a déjà appris. Il ne modifie pas non plus le classement du site dans la recherche classique.

Quelle est la différence entre un robot d'entraînement et un robot de recherche IA ?

Un robot d'entraînement collecte des pages qui finissent dans le corpus d'entraînement d'un modèle. Un robot de recherche IA construit l'index à partir duquel un moteur de réponses cite ses sources. Bloquer le premier correspond au refus que visent la plupart des éditeurs ; bloquer le second vous retire des réponses.

Données ouvertes

Citer ce jeu de données

Les 153 lignes, sous licence CC BY 4.0. Mis à jour le .

agents.jsonagents.csv

IPScanner (2026). Répertoire des robots d'exploration IA. https://ipscanner.io/bot. CC BY 4.0.

    Annuaire des robots d'exploration IA : 153 user agents, IP et robots.txt | IPScanner