KI-Such-Crawler
OAI-SearchBot ist ein von OpenAI betriebener Bot, der Seiten indexiert, damit eine KI-Antwortmaschine sie zitieren kann. Durchsucht Websites, damit sie als Ergebnisse in SearchGPT erscheinen. Er beachtet robots.txt, und zur Prüfung einer Anfrage, die sich als OAI-SearchBot ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Anfrage gibt an
"OAI-SearchBot/1.0"
Geprüft anhand
veröffentlichte IP-Bereiche von OpenAI
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot |
|---|---|
| Betreiber | OpenAI |
| Zweck | Erzeugung von Suchergebnissen. |
| Beachtet robots.txt | BeachtetQuelle |
| Verifizierungsmethode | IP-BereicheVeröffentlichte Datei mit IP-Bereichen OpenAI veröffentlicht für den Such-Crawler eine eigene Datei mit IP-Bereichen. Wenn Sie ihn blockieren, erscheint die Website nicht mehr in den Suchergebnissen von ChatGPT. Das ist eine andere Entscheidung als das Blockieren des Trainings. |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | OAI-SearchBot |
| Dokumentation des Betreibers | https://platform.openai.com/docs/bots |
Durchsucht Websites, damit sie als Ergebnisse in SearchGPT erscheinen.
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: OAI-SearchBot
Disallow: /User-agent: OAI-SearchBot
Allow: /User-agent: OAI-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie OAI-SearchBot blockieren, wird die Website aus dem Index entfernt, auf dem seine Antworten beruhen, und dort nicht mehr zitiert. Wenn Ihnen Verweis-Traffic aus KI-Antworten wichtig ist, blockieren Sie stattdessen den Trainings-Crawler und lassen Sie diesen zu.
Eine Datei für alle Crawler erstellenFAQ
OAI-SearchBot ist ein von OpenAI betriebener Bot, der Seiten indexiert, damit eine KI-Antwortmaschine sie zitieren kann. Durchsucht Websites, damit sie als Ergebnisse in SearchGPT erscheinen. Er beachtet robots.txt, und zur Prüfung einer Anfrage, die sich als OAI-SearchBot ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Ja. Der Betreiber dokumentiert, dass OAI-SearchBot robots.txt liest und Disallow-Regeln für sein eigenes Token befolgt. Die Regeln greifen beim nächsten Abruf der Datei, was Stunden oder Tage nach der Veröffentlichung sein kann.
OpenAI veröffentlicht für den Such-Crawler eine eigene Datei mit IP-Bereichen. Wenn Sie ihn blockieren, erscheint die Website nicht mehr in den Suchergebnissen von ChatGPT. Das ist eine andere Entscheidung als das Blockieren des Trainings. Die Referenz ist unter https://openai.com/searchbot.json veröffentlicht.
Tragen Sie das Token OAI-SearchBot mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie OAI-SearchBot blockieren, wird die Website aus dem Index entfernt, auf dem seine Antworten beruhen, und dort nicht mehr zitiert. Wenn Ihnen Verweis-Traffic aus KI-Antworten wichtig ist, blockieren Sie stattdessen den Trainings-Crawler und lassen Sie diesen zu.