Crawler-API

Die Crawler, die Agentscan verifizieren kann, und wie jeder geprüft wird. Kein Schlüssel nötig.

Verifizierbare Crawler auflisten

GET/v1/crawlers

Kein Schlüssel nötig

Antwortfelder

crawlers[].slugstring
Kennung, die Sie beim Verifizieren als bot übergeben.
crawlers[].tokensstring[]
User-Agent-Tokens, die der Crawler sendet.
crawlers[].methodstring
Wie der Crawler verifiziert wird, etwa ip-list+reverse-dns.
crawlers[].verifiableboolean
true, wenn der Betreiber etwas zum Abgleich veröffentlicht.
crawlers[].reverseDnsstring[]
Hostname-Suffixe, auf die eine echte Anfrage auflöst.
crawlers[].prefixFilesstring[]
Veröffentlichte IP-Bereichsdateien für die Prüfung.
countinteger
Anzahl der gelisteten Crawler.

curl https://ipscanner.io/v1/crawlers

Antwort

{
  "count": 36,
  "crawlers": [
    {
      "slug": "googlebot",
      "name": "Googlebot",
      "tokens": [
        "googlebot"
      ],
      "method": "ip-list+reverse-dns",
      "verifiable": true,
      "reverseDns": [
        "googlebot.com",
        "google.com"
      ],
      "prefixFiles": [
        "https://developers.google.com/static/search/apis/ipranges/googlebot.json"
      ],
      "docs": "https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot"
    },
    {
      "slug": "gptbot",
      "name": "GPTBot",
      "tokens": [
        "gptbot"
      ],
      "method": "ip-list",
      "verifiable": true,
      "prefixFiles": [
        "https://openai.com/gptbot.json"
      ],
      "docs": "https://platform.openai.com/docs/bots"
    }
  ],
  "note": "Crawlers this service can verify by evidence the operator publishes."
}