Welche KI-Crawler deine Website besuchen
Seit ChatGPT, Claude und Perplexity selbst im Web suchen, tauchen in jedem Server-Log neue Namen auf. Hinter ihnen stecken allerdings KI-Crawler mit sehr unterschiedlichen Aufgaben. Manche sammeln Texte fürs Training, andere bauen einen Suchindex auf. Wieder andere rufen eine Seite nur ab, weil ein Mensch gerade im Chat danach fragt.
Diese Unterscheidung ist deshalb wichtig. Sperrst du nämlich den falschen Bot, verschwindest du womöglich aus der ChatGPT-Suche, obwohl du eigentlich nur das Training abschalten wolltest. Die Anbieter dokumentieren ihre Kennungen jedoch inzwischen recht genau. Die wichtigsten im Überblick:
Anbieter
Kennung im Log
Zweck
Beachtet robots.txt
OpenAI
GPTBot
Training
ja
OpenAI
OAI-SearchBot
Suche in ChatGPT
ja
OpenAI
ChatGPT-User
Abruf auf Nutzerwunsch
nicht unbedingt
Anthropic
ClaudeBot
Training
ja
Anthropic
Claude-SearchBot
Suche in Claude
ja
Anthropic
Claude-User
Abruf auf Nutzerwunsch
ja
Perplexity
PerplexityBot
Suche, kein Training
ja
Perplexity
Perplexity-User
Abruf auf Nutzerwunsch
im Allgemeinen nein
Google-Agent
Agent auf Nutzerwunsch
nein
Meta
meta-externalagent
Training
ja
Common Crawl
CCBot
offenes Archiv, oft Trainingsgrundlage
ja
Google-Extended und Applebot-Extended wirst du dagegen nie im Log finden. Beide sind keine eigenen Crawler, sondern nur Kennungen, mit denen du in der robots.txt dem Training widersprichst. Gecrawlt wird stattdessen weiterhin mit Googlebot und Applebot. Ein Fallstrick dabei: Hat Applebot keine eigene Gruppe in deiner robots.txt, folgt er laut Apple den Regeln für Googlebot.
Warum KI-Crawler oft blockiert werden, ohne dass du es merkst
Dabei sperren die wenigsten Website-Betreiber KI-Bots mit Absicht. Viel häufiger passiert es nämlich nebenbei. Zum Beispiel drosselt ein Sicherheits-Plugin alles, was viele Seiten in kurzer Zeit abruft. Ebenso hält die Firewall des Hosters unbekannte Kennungen für Angreifer. Bei Cloudflare entscheiden eigene Schalter darüber, welche KI-Bots durchkommen.
Diese Schalter hat Cloudflare im Juli 2026 in drei Bereiche aufgeteilt: Suche, Agent und Training. Sie stehen übrigens in allen Tarifen zur Verfügung, auch im kostenlosen. Welche Voreinstellung für deine Domain gilt, prüfst du allerdings besser selbst im Dashboard, denn Blog und Doku von Cloudflare widersprechen sich dabei. Außerdem bewertet Cloudflare Crawler mit mehreren Aufgaben wie Googlebot nach der strengsten Regel. Wer dort Training sperrt, sperrt also womöglich auch die klassische Suche.
4,2 %
aller HTML-Abrufe kamen 2025 von KI-Bots (Cloudflare Radar)
16,7 %
der Abrufe mit der Kennung ChatGPT-User waren gefälscht (HUMAN Security)
24 Stunden
darf ein Crawler die robots.txt zwischenspeichern (RFC 9309)
Ein Sonderfall ist außerdem die robots.txt selbst. Antwortet der Server auf sie mit einem Fehler der 500er-Reihe, müssen Crawler laut Standard davon ausgehen, dass die ganze Website gesperrt ist. Eine überlastete oder zu strenge Firewall kann folglich mit einer einzigen Antwort sämtliche Bots aussperren. Fehlt die Datei dagegen ganz und der Server meldet 404, gilt alles als erlaubt.
So liest du eine Zeile im Server-Log
Die meisten Hoster schreiben Zugriffe im sogenannten Combined Log Format. Dabei steht jede Zeile für einen Abruf. Für KI-Crawler zählen vor allem drei Felder: die IP-Adresse am Anfang, der Statuscode hinter der Anfrage und der User-Agent am Ende.
203.0.113.7 - - [07/Nov/2026:09:14:02 +0100] "GET /blog/ki-crawler/ HTTP/1.1" 403 199 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"In diesem Beispiel hat GPTBot die Seite /blog/ki-crawler/ angefragt und den Statuscode 403 bekommen. Der Bot wurde also abgewiesen. Die Zahl 199 dahinter ist zudem die Größe der Antwort in Bytes, das reicht gerade für eine Fehlerseite. So sehen die Statuscodes aus Sicht eines Bots aus:
Statuscode
Was er für einen Bot bedeutet
200
Inhalt geliefert, alles in Ordnung
301 / 302
weitergeleitet, der Bot folgt meist der neuen Adresse
403
abgewiesen von Server, Firewall oder Plugin
429
gedrosselt, zu viele Anfragen in kurzer Zeit
503
Server überlastet oder Drossel eines Sicherheits-Plugins
KI-Crawler im Log prüfen: Schritt für Schritt
Mit den folgenden sieben Schritten findest du heraus, welche KI-Bots kommen und wo sie hängen bleiben. Für die Befehle brauchst du allerdings eine Kommandozeile. Ohne sie geht es auch, eine Alternative steht in Schritt 3.
Log-Dateien herunterladen
Bei Hostern mit Plesk findest du die Dateien unter Websites & Domains, dann Logs und „Log-Dateien verwalten“. Für KI-Crawler ist meist die Datei access_ssl_log die richtige, weil fast alle Abrufe über HTTPS laufen. Bei IONOS liegen ältere Logs dagegen per FTP im Ordner logs. Lade mindestens eine Woche herunter, damit auch seltene Bots auftauchen.
KI-Bots und ihre Statuscodes zählen
Der folgende Befehl sucht alle bekannten KI-Kennungen und zählt, wie oft welcher Statuscode vorkommt. Bei gepackten Dateien mit der Endung .gz nimmst du stattdessen zgrep.
grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Google-Agent|meta-external|CCBot|Bytespider|Applebot" access_ssl_log \
| awk '{print $9}' | sort | uniq -cBlockierte Abrufe einzeln ansehen
Spannend sind alle Zeilen mit 403, 429 oder 503. Der Befehl zeigt sie zum Beispiel für GPTBot. Unter Windows hilft stattdessen Select-String in der PowerShell. Ganz ohne Befehle öffnest du das Log in Excel über „Daten aus Text/CSV“, trennst nach Leerzeichen und filterst die Spalte mit dem User-Agent.
grep "GPTBot" access_ssl_log | awk '$9==403 || $9==429 || $9==503'Echte Bots von Fälschungen trennen
Schließlich kann sich jeder im User-Agent GPTBot nennen. Prüfe deshalb die IP-Adresse. OpenAI, Anthropic und Perplexity veröffentlichen ihre Adressen als JSON-Listen, etwa unter openai.com/gptbot.json. Bei Google, Apple und Common Crawl geht es per Reverse-DNS: Die IP muss also auf einen Namen des Anbieters zeigen und dieser Name wieder auf dieselbe IP.
host 66.249.66.1
# … pointer crawl-66-249-66-1.googlebot.com
host crawl-66-249-66-1.googlebot.com
# … has address 66.249.66.1Firewall und Cloudflare kontrollieren
Was eine Firewall vor dem Server abfängt, landet allerdings nicht im Server-Log. Bei Cloudflare siehst du solche Abrufe unter Security, dann Analytics und Events. Prüf dort auch den Bot Fight Mode, denn für ihn greifen keine Ausnahmeregeln. In WordPress lohnt zudem ein Blick in Sicherheits-Plugins wie Wordfence, die viele Abrufe in kurzer Zeit drosseln.
robots.txt nach Zweck aufteilen
Entscheide getrennt über Training, Suche und Abrufe auf Nutzerwunsch. Mehrere User-agent-Zeilen über einer Regel sind dabei laut Standard erlaubt. Das Beispiel sperrt das Training und lässt Suche und Abruf zu.
# Training aus
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
# Suche und Abruf auf Nutzerwunsch erlaubt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /Nach einem Tag gegenprüfen
Crawler halten die robots.txt nämlich bis zu 24 Stunden im Speicher. Schau also erst am nächsten Tag wieder ins Log. Zusätzlich lohnt ein Praxistest: Bitte ChatGPT, Claude und Perplexity, eine konkrete Seite von dir zu lesen und zusammenzufassen.
Was nicht im Log steht
Nicht jede Blockade hinterlässt Spuren auf deinem Server. Fängt zum Beispiel Cloudflare oder die Firewall des Hosters einen Bot ab, kommt der Abruf nie bei dir an. Solche Fälle findest du deshalb nur im Dashboard des jeweiligen Dienstes.
Noch schwerer zu sehen ist eine Sperre bei OpenAI selbst. Laut Search Engine Journal prüft ein internes System namens Aura, ob ChatGPT eine Website im Live-Browser öffnen darf. Lehnt es eine Seite ab, ruft ChatGPT sie gar nicht erst auf. Im Log steht dann nichts, und auch die robots.txt spielt keine Rolle. Ein Verlag war deshalb monatelang in ChatGPT nicht abrufbar. OpenAI selbst hat das System allerdings bisher nicht dokumentiert.
IP-Sperren sind kein Opt-out
Wer KI-Crawler per IP-Adresse aussperrt, nimmt ihnen auch den Zugriff auf die robots.txt. Anthropic rät ausdrücklich davon ab, denn ohne die Datei weiß der Bot nicht, was du erlaubst und was nicht.
Welche KI-Crawler du als KMU zulassen solltest
Für die meisten Unternehmen ist die Sache klarer als gedacht. Willst du in Antworten von ChatGPT, Claude oder Perplexity auftauchen, brauchen die Such-Bots und die Abrufe auf Nutzerwunsch Zugang. Das Training kannst du hingegen abschalten, ohne aus diesen Antworten zu verschwinden. Laut OpenAI steuert nämlich allein OAI-SearchBot, ob deine Inhalte in der ChatGPT-Suche erscheinen.
Wie viel die Bots zurückgeben, schwankt allerdings stark. Cloudflare hat dazu für 2025 gemessen, wie viele Abrufe auf einen Besucher kommen, der über einen Link zurückkehrt. Bei Google lag das Verhältnis beispielsweise zwischen 3 zu 1 und 30 zu 1, bei Anthropic zeitweise bei 25.000 zu 1 und mehr. Training kostet dich also Serverlast, bringt aber kaum Besucher.
Meine Einschätzung
Schau einmal im Quartal ins Log, nicht nur in Google Analytics. KI-Bots führen dort kein JavaScript aus und tauchen in Analytics deshalb gar nicht erst auf. Ein Blick ins Log zeigt dir dagegen sofort, ob ChatGPT und Co. deine Seiten überhaupt lesen können.
Häufige Fragen
Sperre ich mich mit GPTBot aus der ChatGPT-Suche aus?
Nein. GPTBot sammelt Texte für das Training. Ob deine Seiten in der ChatGPT-Suche erscheinen, steuert laut OpenAI allein OAI-SearchBot. Den kannst du erlauben und GPTBot trotzdem sperren.
Beachten KI-Agenten die robots.txt?
Nicht immer. Für Abrufe auf Nutzerwunsch wie ChatGPT-User, Perplexity-User und Google-Agent gilt die Datei laut ihren Anbietern ganz oder teilweise nicht. Anthropic gibt dagegen an, dass alle seine Bots sie beachten. Wer solche Abrufe sicher sperren will, braucht daher eine Regel in der Firewall.
Schadet Google-Extended meinem Ranking?
Laut Google nicht. Google-Extended steuert nur, ob Inhalte für das Training und das Grounding von Gemini genutzt werden. Auf die Aufnahme in die Google-Suche und das Ranking hat der Eintrag dagegen keinen Einfluss.
Warum finde ich keine KI-Bots im Log?
Meist fängt sie schon jemand vor dem Server ab, etwa Cloudflare, die Firewall des Hosters oder ein Sicherheits-Plugin. Prüfe deshalb die Ereignisse in deren Dashboards. Bei OpenAI kann außerdem eine interne Sperre greifen, die im Log keine Spur hinterlässt.
Wie schnell wirkt eine Änderung an der robots.txt?
Nach etwa einem Tag. Crawler dürfen die Datei laut Standard bis zu 24 Stunden zwischenspeichern, OpenAI nennt dieselbe Zeit für seine Bots.
Du willst das nicht allein umsetzen?
Ich helfe dir bei Auswahl, Einrichtung und den ersten Schritten – ohne Agentur-Overhead.
Quellen
- Übersicht der Crawler (OpenAI)
- Crawler und Sperren (Anthropic Hilfe)
- Perplexity-Crawler (Perplexity Docs)
- Abrufe auf Nutzerwunsch (Google)
- Gängige Crawler und Google-Extended (Google)
- Googlebot verifizieren (Google Search Central)
- Applebot und Applebot-Extended (Apple Support)
- Neue Schalter für KI-Crawler (Cloudflare Blog)
- Jahresrückblick 2025 (Cloudflare Radar)
- Robots Exclusion Protocol (RFC 9309)
- Sicherheitsprüfung Aura bei ChatGPT (Search Engine Journal)
- Gefälschte KI-Bots (Dr. Web)
Stand vom 7. November 2026 · Zahlen und Pläne können sich ändern – wir halten den Beitrag aktuell.
