Was ist Crawling?
Google weiß nicht von selbst, was auf deiner Website steht. Ein Programm namens Googlebot ruft deine Seiten ab, lädt Text, Bilder und Videos herunter und führt dabei auch JavaScript aus. Dieser Abruf heißt Crawling, das Programm Crawler, Bot oder Spider.
Neue Seiten findet der Crawler über Links von schon bekannten Seiten und über Sitemaps, die du einreichst. Google beschreibt die Suche in drei Stufen:
- Crawling: Seiten finden und abrufen.
- Indexierung: Inhalte verstehen und speichern.
- Ranking: zu einer Suchanfrage die passenden Ergebnisse ausgeben.
Wie Googlebot arbeitet
- Meist mobil: Der Großteil der Abrufe läuft über den Smartphone-Crawler.
- Zurückhaltend: Die meisten Websites ruft Googlebot im Schnitt nicht öfter als alle paar Sekunden ab.
- Begrenzt: Googlebot liest laut Google die ersten 2 MB einer HTML-Datei. Was weiter hinten steht, sieht er nicht.
- Nur bremsbar: Wird dein Server überlastet, kannst du das Crawling vorübergehend drosseln. Eine höhere Crawl-Rate beantragen kannst du nicht.
Crawler steuern mit robots.txt
In der Datei robots.txt im Hauptverzeichnis legst du fest, welche Bereiche ein Crawler abrufen darf. Das Format ist seit 2022 als Internet-Standard RFC 9309 festgeschrieben. Google liest dabei nur die Felder user-agent, allow, disallow und sitemap — die Angabe crawl-delay ignoriert Google.
KI-Crawler: neue Gäste
Neben den Suchmaschinen besuchen inzwischen KI-Anbieter deine Website. Die meisten trennen nach Aufgaben — und das ist wichtig, wenn du einzelne sperren willst (Stand Oktober 2026, laut Anbietern):
Anbieter
Training
Suche und Antworten
OpenAI
GPTBot
OAI-SearchBot (ChatGPT-Suche), ChatGPT-User (Abruf auf Nutzerwunsch)
Anthropic
ClaudeBot
Claude-SearchBot, Claude-User
Perplexity
kein Trainings-Crawler laut Perplexity
PerplexityBot, Perplexity-User
Token Google-Extended (kein eigener Bot)
Googlebot
Sperrst du GPTBot, bleibst du laut OpenAI trotzdem in der ChatGPT-Suche sichtbar — das steuert OAI-SearchBot. Und Google-Extended betrifft laut Google nicht deine Aufnahme in die Google-Suche. Abrufe auf direkten Nutzerwunsch, etwa durch ChatGPT-User oder Perplexity-User, halten sich nach Angaben der Anbieter nicht unbedingt an die robots.txt.
Wer crawlt das Web?
Case A · Cloudflare Radar 2025
Google ist noch der größte Besucher
> 28 %
des verifizierten Bot-Traffics: Googlebot
4,2 %
aller HTML-Abrufe: alle KI-Bots zusammen
Googlebot allein kam auf 4,5 % der HTML-Abrufe
Cloudflare, globales Netz, Januar bis Anfang Dezember 2025.
Case B · Geben und Nehmen
Wie viele Abrufe für einen Klick zurück?
3–30 : 1
bis 500.000 : 1
Anthropic, Spitzenwert
KI-Crawler holen viel, schicken aber kaum Besucher zurück
Cloudflare Radar 2025. Der Wert schwankt stark: Bei Anthropic lag er im zweiten Halbjahr meist zwischen 25.000 und 100.000 Abrufen pro Klick.
Noch ein Unterschied: Laut einer Auswertung von Vercel (Stand Ende 2024) führte keiner der großen KI-Crawler JavaScript aus. Inhalte, die erst per JavaScript erscheinen, sieht Googlebot — KI-Crawler womöglich nicht.
Muss ich mich um das Crawl-Budget kümmern?
Das Crawl-Budget ist die Menge an URLs, die Google auf deiner Website abrufen kann und will. Googles Leitfaden dazu richtet sich an sehr große Websites mit über einer Million Seiten oder an mittlere mit über 10.000 Seiten, die sich täglich ändern. Allen anderen sagt Google: Diesen Leitfaden musst du nicht lesen. Eine aktuelle Sitemap und ein Blick in den Indexierungsbericht reichen.
Häufige Fragen
Was ist der Unterschied zwischen Crawling und Indexierung?
Beim Crawling ruft der Bot die Seite ab. Bei der Indexierung wertet Google sie aus und speichert sie. Eine gecrawlte Seite muss nicht im Index landen.
Wie oft crawlt Google meine Website?
Das siehst du in der Search Console unter „Crawling-Statistik“, mit den Abrufen der letzten 90 Tage. Google selbst sagt: Bei Websites unter 1.000 Seiten brauchst du den Bericht wahrscheinlich nicht.
Kann ich Google bitten, schneller zu crawlen?
Für einzelne Seiten ja, über die URL-Prüfung in der Search Console. Eine aktuelle Sitemap hilft auch. Bezahlen kannst du dafür nicht, und eine höhere Crawl-Rate lässt sich nicht beantragen.
Sollte ich KI-Crawler blockieren?
Das ist eine Abwägung. Sperrst du Trainings-Bots wie GPTBot oder ClaudeBot, bleibst du laut Anbietern trotzdem in deren Suche sichtbar, solange du die Such-Bots zulässt. Sperrst du alles, tauchst du in KI-Antworten seltener auf.
Quellen
- Google Search Central: So funktioniert die Google-Suche
- Google Search Central: Googlebot
- IETF: RFC 9309 Robots Exclusion Protocol
- Google: robots.txt-Spezifikation
- Google Search Central: Einführung in robots.txt
- Search-Console-Hilfe: Bericht zur Seitenindexierung
- Google Search Central: Crawl-Budget großer Websites
- Search-Console-Hilfe: Crawling-Statistik
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Crawler und wie man sie sperrt
- Perplexity: Bots
- Google: Gängige Crawler (Google-Extended)
- Cloudflare: Radar 2025 Year in Review
- Vercel: The rise of the AI crawler
