Was ist ein KI-Crawler?
Ein KI-Crawler ist ein automatisches Programm eines KI-Anbieters, das Webseiten abruft. Das Prinzip kennst du vom Crawling der Suchmaschinen. Der Unterschied liegt im Zweck — und davon gibt es drei:
Zweck
Beispiele
Training
GPTBot, ClaudeBot, CCBot
KI-Suche
OAI-SearchBot, Claude-SearchBot, PerplexityBot
Nutzer-Abruf
ChatGPT-User, Claude-User, Perplexity-User
Trainings-Crawler sammeln Texte, aus denen künftige Sprachmodelle lernen. Such-Crawler bauen einen Index, aus dem eine KI-Suche Antworten mit Quellen zusammenstellt — hier kannst du zitiert werden. Nutzer-Abrufe passieren live, weil jemand im Chat gerade nach deiner Seite fragt.
So steuerst du KI-Crawler
Gesteuert wird über die robots.txt, und zwar je Bot. OpenAI schreibt in seiner Doku ausdrücklich, dass die Einstellungen für GPTBot und OAI-SearchBot unabhängig voneinander sind. Wer GPTBot sperrt, schließt seine Inhalte vom Training aus; wer OAI-SearchBot sperrt, erscheint nicht mehr in ChatGPT-Suchantworten. Änderungen greifen laut OpenAI nach rund 24 Stunden.
Eine typische Mischung „Training aus, Suche an“ sieht so aus:
- Sperren: GPTBot, ClaudeBot, CCBot, Google-Extended.
- Zulassen: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Offen lassen: Googlebot, sonst bist du auch aus der normalen Google-Suche raus.
Für Deutschland gibt es noch einen rechtlichen Haken: Nach § 44b Urheberrechtsgesetz ist Text- und Data-Mining erlaubt, solange der Rechteinhaber es sich nicht vorbehält — bei Online-Inhalten nur wirksam „in maschinenlesbarer Form“. Das Oberlandesgericht Hamburg hielt Ende 2025 einen Vorbehalt nur in den Nutzungsbedingungen laut Fachpresse nicht für ausreichend; die Revision ist zugelassen. Die robots.txt ist also der sicherere Weg.
Was die Zahlen zeigen
Cloudflare, über dessen Netz nach eigener Angabe rund 20 % des Webs laufen, misst das Verhältnis von gecrawlten Seiten zu Besuchern, die eine Plattform zurückschickt. Das Ergebnis ist ernüchternd.
Fall A · Crawls je Besucher, Juli 2025
Viel holen, wenig bringen
≈ 38.000
Anthropic
≈ 1.100
OpenAI
Zum Vergleich: Google kam auf rund 5 gecrawlte Seiten je zurückgeschicktem Besucher.
Cloudflare-Eigendaten, Blog vom August 2025. Gemessen nur im Cloudflare-Netz, Besucher aus Apps fehlen. Anthropic hat die Zahlen bestritten; im Januar 2025 lag der Wert bei Anthropic noch deutlich höher.
Fall B · Wofür KI-Bots crawlen
Training dominiert
80 %
Training
18 %
Suche
Der Großteil des KI-Crawlings füttert Modelle — nicht die Suche, die dich zitieren könnte.
Cloudflare, Zeitraum zwölf Monate bis Juli 2025; Nutzer-Abrufe machten 2 % aus. Seit Juli 2025 fragt Cloudflare neue Domains, ob sie KI-Crawler zulassen wollen, und blockt sie sonst standardmäßig.
Häufige Fehler
Fehler 1 · Google-Extended für den AI-Overview-Schalter halten
Google-Extended steuert laut Google das Gemini-Training und das Grounding in den Gemini Apps. Die AI Overviews in der Suche laufen über den Googlebot. Wer sie begrenzen will, braucht Vorschau-Steuerungen wie nosnippet — mit Folgen für die normalen Suchergebnisse.
Fehler 2 · Alle KI-Bots pauschal sperren
Dann bist du aus dem Training raus, aber auch aus der ChatGPT-Suche, und bei Claude und Perplexity sinkt die Sichtbarkeit. Wer in KI-Antworten zitiert werden will, sollte die Such-Bots offen lassen.
Fehler 3 · Die robots.txt für eine Mauer halten
Die robots.txt ist eine Bitte, keine Sperre. Perplexity schreibt selbst, dass Perplexity-User sie bei Nutzer-Abrufen in der Regel ignoriert; bei OpenAI gelten die Regeln für ChatGPT-User unter Umständen nicht. Cloudflare warf Perplexity 2025 zudem vor, gesperrte Seiten mit verdeckter Kennung abzurufen; Perplexity widersprach.
Fehler 4 · Per IP-Adresse aussperren
Anthropic rät davon ab, ClaudeBot über IP-Adressen zu blocken: Dann kann der Bot die robots.txt gar nicht mehr lesen. Die robots.txt ist der saubere Weg; wer mehr Kontrolle will, nutzt Werkzeuge wie Cloudflare AI Crawl Control.
Was du jetzt tun kannst
- Entscheiden: Training ja oder nein, KI-Suche ja oder nein — getrennt.
- robots.txt anpassen: je Bot ein eigener Eintrag, Googlebot nicht anfassen.
- Logs prüfen: Welche Bots kommen wirklich? OpenAI und andere veröffentlichen ihre IP-Bereiche.
- Werkzeuge: Cloudflare AI Crawl Control, Cloudflare Radar, Dark Visitors.
Häufige Fragen
Sollte ich KI-Crawler blocken?
Entscheide getrennt: Trainings-Bots wie GPTBot und ClaudeBot kannst du sperren, ohne aus der KI-Suche zu fallen. Such-Bots wie OAI-SearchBot und PerplexityBot solltest du offen lassen, wenn du in KI-Antworten zitiert werden willst.
Blockt Google-Extended die AI Overviews?
Nein. Google-Extended steuert das Training von Gemini. Für AI Overviews und AI Mode in der Google-Suche gilt der normale Googlebot.
Halten sich KI-Bots an die robots.txt?
Die großen Trainings- und Such-Bots laut ihren Anbietern ja. Abrufe, die ein Nutzer im Chat auslöst, halten sich oft nicht daran. Die robots.txt ist eine Bitte, keine technische Sperre.
Bringen KI-Crawler mir Besucher?
Wenig. Laut Cloudflare schickte Anthropic im Juli 2025 auf rund 38.000 gecrawlte Seiten einen Besucher zurück, OpenAI auf rund 1.100, Google auf rund 5.
Reicht ein Satz im Impressum gegen KI-Training?
Wohl nicht. Nach § 44b Urheberrechtsgesetz muss der Vorbehalt bei Online-Inhalten maschinenlesbar sein. Die robots.txt ist dafür der übliche Weg; die Rechtslage ist noch nicht abschließend geklärt.
