KI-Crawler-Verzeichnis
Wer welchen KI-Crawler betreibt, was er sendet und ob sich eine Anfrage unter seinem Namen als echt nachweisen lässt.
Nur behauptet
78%
Für 119 von 153 Crawler-Tokens gibt es keine veröffentlichte Methode, eine Anfrage zu überprüfen.
Aus der ai.robots.txt-Liste und den Dokumentationen der Betreiber, abgeglichen mit den Angaben des jeweiligen Betreibers. Aktualisiert: .
Sammeln Seiten für den Trainingskorpus eines Modells. Diese zu blockieren ist der übliche Weg, KI-Nutzung abzulehnen.
| Crawler | Betreiber | Überprüfung | robots.txt | Details |
|---|---|---|---|---|
| AI2BotAi2Bot-Dolma | Ai2 | Nur Angabe | robots.txt:Beachtet | |
| anthropic-ai | Anthropic | IP-Bereiche | robots.txt:Keine Richtlinie | |
| Applebot-Extended | Apple | Nur Token | robots.txt:Beachtet | |
| Bytespider | ByteDance | Nur Angabe | robots.txt:Ignoriert | |
| ClaudeBot | Anthropic | IP-Bereiche | robots.txt:Beachtet | |
| cohere-ai | Cohere | Nur Angabe | robots.txt:Keine Richtlinie | |
| Cotoyogi | ROIS | Nur Angabe | robots.txt:Beachtet | |
| DeepSeekBot | DeepSeek | Nur Angabe | robots.txt:Ignoriert | |
| FacebookBot | Meta/Facebook | ASN des Betreibers | robots.txt:Beachtet | |
| Factset_spyderbot | Factset | Nur Angabe | robots.txt:Keine Richtlinie | |
| FriendlyCrawler | Unknown | Nur Angabe | robots.txt:Beachtet | |
| Google-Extended | Nur Token | robots.txt:Beachtet | ||
| GPTBot | OpenAI | IP-Bereiche | robots.txt:Beachtet | |
| ICC-Crawler | NICT | Nur Angabe | robots.txt:Beachtet | |
| img2dataset | img2dataset | Nur Angabe | robots.txt:Keine Richtlinie | |
| ISSCyberRiskCrawler | ISS-Corporate | Nur Angabe | robots.txt:Ignoriert | |
| Linguee Bot | Linguee | Nur Angabe | robots.txt:Ignoriert | |
| Meta-ExternalAgentmeta-externalagent | Meta | ASN des Betreibers | robots.txt:Beachtet | |
| Scrapy | Zyte | Nur Angabe | robots.txt:Keine Richtlinie | |
| Sidetrade indexer bot | Sidetrade | Nur Angabe | robots.txt:Keine Richtlinie | |
| TikTokSpider | ByteDance | Nur Angabe | robots.txt:Keine Richtlinie |
Erstellen den Index, aus dem eine KI-Antwortmaschine zitiert. Wenn Sie einen davon blockieren, erscheinen Sie nicht mehr in deren Antworten.
| Crawler | Betreiber | Überprüfung | robots.txt | Details |
|---|---|---|---|---|
| AddSearchBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| AIWebIndexAIWebIndex-Agent | Lyrenth (Aleksma Ai, Inc.) | IP-Bereiche + DNS | robots.txt:Beachtet | |
| amazon-kendra | Amazon | Nur Angabe | robots.txt:Beachtet | |
| Amazonbot | Amazon | Reverse DNS | robots.txt:Beachtet | |
| Amzn-SearchBot | Amazon | Reverse DNS | robots.txt:Keine Richtlinie | |
| Andibot | Andi | Nur Angabe | robots.txt:Keine Richtlinie | |
| Anomura | Direqt | Nur Angabe | robots.txt:Beachtet | |
| Applebot | Apple | IP-Bereiche + DNS | robots.txt:Beachtet | |
| atlassian-bot | Atlassian | Nur Angabe | robots.txt:Beachtet | |
| AzureAI-SearchBot | Microsoft | Nur Angabe | robots.txt:Keine Richtlinie | |
| Bingbot | Microsoft | IP-Bereiche + DNS | robots.txt:Beachtet | |
| Channel3Bot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Claude-SearchBot | Anthropic | IP-Bereiche | robots.txt:Beachtet | |
| Cloudflare-AutoRAG | Cloudflare | Nur Angabe | robots.txt:Beachtet | |
| DuckDuckBot | DuckDuckGo | IP-Bereiche | robots.txt:Beachtet | |
| ExaSearchBot | Exa | Nur Angabe | robots.txt:Keine Richtlinie | |
| Googlebot | IP-Bereiche + DNS | robots.txt:Beachtet | ||
| GoogleOther | IP-Bereiche + DNS | robots.txt:Beachtet | ||
| GoogleOther-Image | IP-Bereiche + DNS | robots.txt:Beachtet | ||
| GoogleOther-Video | IP-Bereiche + DNS | robots.txt:Beachtet | ||
| ImagesiftBot | ImageSift | Nur Angabe | robots.txt:Beachtet | |
| LinkupBot | Linkup | Nur Angabe | robots.txt:Keine Richtlinie | |
| meta-webindexer | Meta | ASN des Betreibers | robots.txt:Keine Richtlinie | |
| OAI-SearchBot | OpenAI | IP-Bereiche | robots.txt:Beachtet | |
| PerplexityBot | Perplexity | IP-Bereiche | robots.txt:Beachtet | |
| PetalBot | Huawei | Nur Angabe | robots.txt:Beachtet | |
| Timpibot | Timpi | Nur Angabe | robots.txt:Keine Richtlinie | |
| YouBot | You | Nur Angabe | robots.txt:Beachtet | |
| ZanistaBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie |
Rufen eine einzelne Seite ab, weil jemand einen Assistenten danach gefragt hat. Manche ignorieren robots.txt.
| Crawler | Betreiber | Überprüfung | robots.txt | Details |
|---|---|---|---|---|
| AI2Bot-DeepResearchEval | Ai2, a non-profit AI research institute | Nur Angabe | robots.txt:Keine Richtlinie | |
| amazon-QBusiness | Amazon Web Services | Nur Angabe | robots.txt:Keine Richtlinie | |
| Amzn-User | Amazon | Reverse DNS | robots.txt:Keine Richtlinie | |
| bigsur.ai | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| ChatGPT-User | OpenAI | IP-Bereiche | robots.txt:Beachtet | |
| Claude-User | Anthropic | IP-Bereiche | robots.txt:Beachtet | |
| DuckAssistBot | Nicht identifiziert | IP-Bereiche | robots.txt:Beachtet | |
| GeistHaus-PageFetcher | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Gemini-Deep-Research | Nur Angabe | robots.txt:Keine Richtlinie | ||
| Google-NotebookLMNotebookLM | IP-Bereiche | robots.txt:Keine Richtlinie | ||
| GoogleAgent-URLContext | Nur Angabe | robots.txt:Keine Richtlinie | ||
| kagi-fetcher | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Kimi-User | Moonshot AI | Nur Angabe | robots.txt:Keine Richtlinie | |
| KlaviyoAIBot | Klaviyo | Nur Angabe | robots.txt:Beachtet | |
| LinerBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Meta-ExternalFetchermeta-externalfetcher | Meta | ASN des Betreibers | robots.txt:Ignoriert | |
| MistralAI-UserMistralAI-User/1.0 | Mistral | Nur Angabe | robots.txt:Keine Richtlinie | |
| Perplexity-User | Perplexity | IP-Bereiche | robots.txt:Ignoriert | |
| PhindBot | phind | Nur Angabe | robots.txt:Keine Richtlinie | |
| Poggio-Citations | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| QualifiedBot | Qualified | Nur Angabe | robots.txt:Keine Richtlinie | |
| SemrushBot-SWA | Semrush | Nur Angabe | robots.txt:Beachtet | |
| Shap-User | Parallel | Nur Angabe | robots.txt:Keine Richtlinie | |
| TongyiBot | Alibaba | Nur Angabe | robots.txt:Keine Richtlinie | |
| UseAI | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| YiyanBot | Baidu that fetches web content for the yiyan | Nur Angabe | robots.txt:Keine Richtlinie |
Steuern einen Browser durch mehrstufige Aufgaben, ähnlich wie bei einer menschlichen Sitzung.
| Crawler | Betreiber | Überprüfung | robots.txt | Details |
|---|---|---|---|---|
| AmazonBuyForMe | Amazon | Nur Angabe | robots.txt:Keine Richtlinie | |
| Aranet-SearchBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| ChatGPT Agent | OpenAI | IP-Bereiche | robots.txt:Beachtet | |
| Claude-Web | Anthropic | IP-Bereiche | robots.txt:Keine Richtlinie | |
| Crawl4AI | Crawl4AI (open source) | Nur Angabe | robots.txt:Keine Richtlinie | |
| Google-Agent | Nur Angabe | robots.txt:Beachtet | ||
| Google-CloudVertexBotCloudVertexBot | IP-Bereiche | robots.txt:Beachtet | ||
| GoogleAgent-Mariner | Nur Angabe | robots.txt:Keine Richtlinie | ||
| iAskBotiaskspider, iaskspider/2.0 | iAsk | Nur Angabe | robots.txt:Keine Richtlinie | |
| KunatoCrawler | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Manus-User | Butterfly Effect, a company based in China | Nur Angabe | robots.txt:Keine Richtlinie | |
| NagetBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| newsai | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| NovaAct | Amazon | Nur Angabe | robots.txt:Keine Richtlinie | |
| Operator | OpenAI | IP-Bereiche | robots.txt:Keine Richtlinie | |
| Reflectionbot | Reflection | Nur Angabe | robots.txt:Keine Richtlinie | |
| TwinAgent | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| WRTNBot | Wrtn Technologies | Nur Angabe | robots.txt:Keine Richtlinie |
Laden Dokumentation und Beispiele, während eine KI Code schreibt, oft vom Rechner eines Entwicklers aus.
| Crawler | Betreiber | Überprüfung | robots.txt | Details |
|---|---|---|---|---|
| Claude-Code | Anthropic | IP-Bereiche | robots.txt:Keine Richtlinie | |
| Code | GitHub Copilot | Nur Angabe | robots.txt:Keine Richtlinie | |
| Cursor | Cursor | Nur Angabe | robots.txt:Keine Richtlinie | |
| Devin | Devin AI | Nur Angabe | robots.txt:Beachtet | |
| Google-Gemini-CLI | Nur Angabe | robots.txt:Keine Richtlinie | ||
| opencode | opencode (open source) | Nur Angabe | robots.txt:Keine Richtlinie | |
| Trae | ByteDance | Nur Angabe | robots.txt:Keine Richtlinie |
Sammeln Seiten in Datensätzen, die weiterverwendet, lizenziert oder weitergegeben werden können.
| Crawler | Betreiber | Überprüfung | robots.txt | Details |
|---|---|---|---|---|
| AgentTimes | The Agent Times | Nur Angabe | robots.txt:Keine Richtlinie | |
| aiHitBot | aiHit | Nur Angabe | robots.txt:Beachtet | |
| ApifyBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| ApifyWebsiteContentCrawler | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Awario | Awario | Nur Angabe | robots.txt:Keine Richtlinie | |
| bedrockbot | Amazon | Nur Angabe | robots.txt:Beachtet | |
| Bravebot | Brave | Nur Angabe | robots.txt:Beachtet | |
| BrightbotBrightbot 1.0 | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| CCBot | Common Crawl Foundation | Nur Angabe | robots.txt:Beachtet | |
| ChatGLM-Spider | Zhipu AI | Nur Angabe | robots.txt:Keine Richtlinie | |
| cohere-training-data-crawler | Cohere | Nur Angabe | robots.txt:Keine Richtlinie | |
| CragCrawler | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Crawlspace | Crawlspace | Nur Angabe | robots.txt:Beachtet | |
| Datenbank Crawler | Datenbank | Nur Angabe | robots.txt:Keine Richtlinie | |
| Diffbot | Diffbot | Nur Angabe | robots.txt:Keine Richtlinie | |
| Echobot Bot | Echobox | Nur Angabe | robots.txt:Keine Richtlinie | |
| ExaBot | Exa | Nur Angabe | robots.txt:Keine Richtlinie | |
| FirecrawlAgent | Firecrawl | Nur Angabe | robots.txt:Beachtet | |
| HenkBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| imageSpider | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Kangaroo Bot | Kangaroo LLM | Nur Angabe | robots.txt:Keine Richtlinie | |
| laion-huggingface-processor | LAION | Nur Angabe | robots.txt:Keine Richtlinie | |
| LAIONDownloader | Large-scale Artificial Intelligence Open Network | Nur Angabe | robots.txt:Ignoriert | |
| LCC | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Lightpanda | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| Mozilla-Tabstack | Mozilla | Nur Angabe | robots.txt:Beachtet | |
| MyCentralAIScraperBot | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| netEstate Imprint Crawler | netEstate | Nur Angabe | robots.txt:Keine Richtlinie | |
| omgiliomgilibot | Webz.io | Nur Angabe | robots.txt:Beachtet | |
| PanguBot | the Chinese company Huawei | Nur Angabe | robots.txt:Keine Richtlinie | |
| QueritBotQuerit-SearchBot | Querit | Nur Angabe | robots.txt:Keine Richtlinie | |
| SemrushBot-OCOB | Semrush | Nur Angabe | robots.txt:Beachtet | |
| ShapBot | Parallel | Nur Angabe | robots.txt:Beachtet | |
| Spider | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| TavilyBot | Tavily | Nur Angabe | robots.txt:Keine Richtlinie | |
| TerraCottaTerra Cotta | Ceramic AI | Nur Angabe | robots.txt:Beachtet | |
| VelenPublicWebCrawler | Velen Crawler | Nur Angabe | robots.txt:Beachtet | |
| WARDBot | WEBSPARK | Nur Angabe | robots.txt:Keine Richtlinie | |
| Webzio-Extendedwebzio-extended | Nicht identifiziert | Nur Angabe | robots.txt:Keine Richtlinie | |
| YandexAdditionalYandexAdditionalBot | Yandex | Reverse DNS | robots.txt:Beachtet |
Bots in KI-Workflows, die in keine der obigen Kategorien passen.
| Crawler | Betreiber | Überprüfung | robots.txt | Details |
|---|---|---|---|---|
| BuddyBot | BuddyBotLearning | Nur Angabe | robots.txt:Keine Richtlinie | |
| EchoboxBot | Echobox | Nur Angabe | robots.txt:Keine Richtlinie | |
| facebookexternalhit | Meta/Facebook | ASN des Betreibers | robots.txt:Ignoriert | |
| Google-Firebase | Nur Angabe | robots.txt:Keine Richtlinie | ||
| OpenAI | OpenAI | IP-Bereiche | robots.txt:Beachtet | |
| Panscientpanscient.com | Panscient | Nur Angabe | robots.txt:Beachtet | |
| Poseidon Research Crawler | Poseidon Research | Nur Angabe | robots.txt:Keine Richtlinie | |
| QuillBotquillbot.com | Quillbot | Nur Angabe | robots.txt:Keine Richtlinie | |
| SBIntuitionsBot | SB Intuitions | Nur Angabe | robots.txt:Beachtet | |
| Thinkbot | Thinkbot | Nur Angabe | robots.txt:Ignoriert | |
| wpbot | QuantumCloud | Nur Angabe | robots.txt:Keine Richtlinie | |
| YaK | Meltwater | Nur Angabe | robots.txt:Keine Richtlinie |
robots.txt
Eine Regel pro Token, Aliasse eingeschlossen. 9 davon ignorieren die Datei, kombinieren Sie sie daher mit Edge-Regeln.
User-agent: AddSearchBot
User-agent: AgentTimes
User-agent: AI2Bot
User-agent: AI2Bot-DeepResearchEval
User-agent: Ai2Bot-Dolma
User-agent: aiHitBot
User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
User-agent: amazon-kendra
User-agent: amazon-QBusiness
User-agent: Amazonbot
User-agent: AmazonBuyForMe
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Andibot
User-agent: Anomura
User-agent: anthropic-ai
User-agent: ApifyBot
User-agent: ApifyWebsiteContentCrawler
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Aranet-SearchBot
User-agent: atlassian-bot
User-agent: Awario
User-agent: AzureAI-SearchBot
User-agent: bedrockbot
User-agent: bigsur.ai
User-agent: Bingbot
User-agent: Bravebot
User-agent: Brightbot
User-agent: Brightbot 1.0
User-agent: BuddyBot
User-agent: Bytespider
User-agent: CCBot
User-agent: Channel3Bot
User-agent: ChatGLM-Spider
User-agent: ChatGPT Agent
User-agent: ChatGPT-User
User-agent: Claude-Code
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Cloudflare-AutoRAG
User-agent: CloudVertexBot
User-agent: Code
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: Cotoyogi
User-agent: CragCrawler
User-agent: Crawl4AI
User-agent: Crawlspace
User-agent: Cursor
User-agent: Datenbank Crawler
User-agent: DeepSeekBot
User-agent: Devin
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: DuckDuckBot
User-agent: Echobot Bot
User-agent: EchoboxBot
User-agent: ExaBot
User-agent: ExaSearchBot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: Factset_spyderbot
User-agent: FirecrawlAgent
User-agent: FriendlyCrawler
User-agent: GeistHaus-PageFetcher
User-agent: Gemini-Deep-Research
User-agent: Google-Agent
User-agent: Google-CloudVertexBot
User-agent: Google-Extended
User-agent: Google-Firebase
User-agent: Google-Gemini-CLI
User-agent: Google-NotebookLM
User-agent: GoogleAgent-Mariner
User-agent: GoogleAgent-URLContext
User-agent: Googlebot
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: HenkBot
User-agent: iAskBot
User-agent: iaskspider
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: imageSpider
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: kagi-fetcher
User-agent: Kangaroo Bot
User-agent: Kimi-User
User-agent: KlaviyoAIBot
User-agent: KunatoCrawler
User-agent: laion-huggingface-processor
User-agent: LAIONDownloader
User-agent: LCC
User-agent: Lightpanda
User-agent: LinerBot
User-agent: Linguee Bot
User-agent: LinkupBot
User-agent: Manus-User
User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
User-agent: meta-externalfetcher
User-agent: Meta-ExternalFetcher
User-agent: meta-webindexer
User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
User-agent: Mozilla-Tabstack
User-agent: MyCentralAIScraperBot
User-agent: NagetBot
User-agent: netEstate Imprint Crawler
User-agent: newsai
User-agent: NotebookLM
User-agent: NovaAct
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: OpenAI
User-agent: opencode
User-agent: Operator
User-agent: PanguBot
User-agent: Panscient
User-agent: panscient.com
User-agent: Perplexity-User
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: PhindBot
User-agent: Poggio-Citations
User-agent: Poseidon Research Crawler
User-agent: QualifiedBot
User-agent: Querit-SearchBot
User-agent: QueritBot
User-agent: QuillBot
User-agent: quillbot.com
User-agent: Reflectionbot
User-agent: SBIntuitionsBot
User-agent: Scrapy
User-agent: SemrushBot-OCOB
User-agent: SemrushBot-SWA
User-agent: Shap-User
User-agent: ShapBot
User-agent: Sidetrade indexer bot
User-agent: Spider
User-agent: TavilyBot
User-agent: Terra Cotta
User-agent: TerraCotta
User-agent: Thinkbot
User-agent: TikTokSpider
User-agent: Timpibot
User-agent: TongyiBot
User-agent: Trae
User-agent: TwinAgent
User-agent: UseAI
User-agent: VelenPublicWebCrawler
User-agent: WARDBot
User-agent: webzio-extended
User-agent: Webzio-Extended
User-agent: wpbot
User-agent: WRTNBot
User-agent: YaK
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: YiyanBot
User-agent: YouBot
User-agent: ZanistaBot
Disallow: /Oder mit einer Vorlage beginnen
Log-Prüfung
Fügen Sie hundert Zeilen ein. Jede darin enthaltene Crawler-Angabe wird mit den Veröffentlichungen des jeweiligen Betreibers abgeglichen.
FAQ
9 der 153 hier aufgeführten Tokens ignorieren robots.txt nachweislich: Bytespider, DeepSeekBot, facebookexternalhit, ISSCyberRiskCrawler, LAIONDownloader, Linguee Bot, Meta-ExternalFetcher, Perplexity-User, Thinkbot. Für weitere 90 gibt es keine veröffentlichte Richtlinie dazu, und das ist nicht dasselbe wie die Zusage, die Datei zu beachten. Bei diesen ist eine robots.txt-Regel eine Bitte, eine Edge-Regel dagegen eine Durchsetzung.
Anhand der Quell-IP, nie anhand des User-Agents. Prüfen lassen sich drei Dinge: eine veröffentlichte Datei mit IP-Bereichen, eine Konvention für vorwärts bestätigtes Reverse-DNS oder eine ASN des Betreibers. Nur 34 der 153 Tokens hier veröffentlichen eines davon; für die übrigen gibt es nichts, womit sich abgleichen ließe.
Nein. Der User-Agent ist ein Header, den der Client selbst wählt, daher kann ihn jeder senden. Scraper kopieren die Strings bekannter Crawler gerade deshalb, weil Websitebetreiber diese durchlassen. Betrachten Sie den User-Agent als Behauptung und die IP als Beleg.
Nein. Eine Sperre verhindert künftige Crawls; sie entfernt nichts, was bereits gesammelt wurde, und hat keinen Einfluss darauf, was ein Modell bereits gelernt hat. Sie ändert auch nichts am Ranking der Website in der normalen Suche.
Ein Trainings-Crawler sammelt Seiten, die im Trainingskorpus eines Modells landen. Ein KI-Such-Crawler baut den Index auf, aus dem eine Antwortmaschine zitiert. Den ersten zu blockieren ist das Opt-out, das die meisten Publisher meinen; wer den zweiten blockiert, erscheint nicht mehr in den Antworten.
IPScanner (2026). Verzeichnis der KI-Crawler. https://ipscanner.io/bot. CC BY 4.0.