Was ist das Crawl-Budget?
Bevor eine Seite in Google erscheinen kann, muss der Googlebot sie abrufen — das Crawling. Google tut das nicht unbegrenzt. Das Crawl-Budget beschreibt, wie viele URLs einer Website Google abrufen kann und will.
Google setzt es aus zwei Teilen zusammen:
- Crawl-Kapazitätslimit: wie viel dein Server verträgt. Antwortet er schnell und stabil, steigt das Limit. Wird er langsam oder meldet Fehler wie 5xx oder 429, crawlt Google vorsichtiger.
- Crawling-Bedarf: wie viel Google crawlen möchte. Das hängt an der Zahl der bekannten URLs, an ihrer Beliebtheit und daran, wie oft sich Inhalte ändern.
Jeder Hostname gilt dabei als eigene Website. shop.beispiel.de und www.beispiel.de haben also jeweils ihr eigenes Budget.
Für wen ist das Crawl-Budget ein Thema?
Kurz: für die wenigsten. Google richtet seinen Leitfaden ausdrücklich an große Websites:
Website
Betroffen?
1 Mio.+ Seiten, wöchentliche Änderungen
ja
10.000+ Seiten, tägliche Änderungen
ja
Viele URLs „Gefunden – nicht indexiert“
möglich
Kleine Website
meist nein
Google betont, dass die Schwellen nur grobe Schätzungen sind. Für kleinere Websites reicht es laut Google, die Sitemap aktuell zu halten und regelmäßig den Bericht „Seitenindexierung“ in der Search Console zu prüfen. Den Bericht „Crawling-Statistik“ braucht man laut Google bei Websites unter 1.000 Seiten meist gar nicht.
Zwei Beispiele
Case A · Onlineshop
2.000 Produkte, sechs Filter
2.000
echte Produktseiten
100.000+
mögliche Filter-URLs
Hier verschwendet Googlebot Zeit
Rechenbeispiel. Jede Kombination aus Farbe, Größe und Sortierung ist eine eigene URL. Google warnt selbst vor solchen „unendlichen URL-Räumen“ durch Filter-Navigation.
Case B · Dienstleister
WordPress-Website mit 80 Seiten
80
Seiten
0
Grund zur Sorge
Crawl-Budget ist kein Thema
Weit unter allen Schwellen. Wird hier eine Seite nicht indexiert, liegt es fast immer an Inhalt, Technik oder Verlinkung — nicht am Budget.
Häufige Fehler
Fehler 1 · Sich als kleine Website Sorgen machen
Viele SEO-Checklisten behandeln das Crawl-Budget, als beträfe es jeden. Bei ein paar hundert Seiten kostet dich das nur Zeit, die du besser in Inhalte steckst.
Fehler 2 · Mit noindex Budget sparen wollen
Google sagt ausdrücklich: Seiten mit noindex werden trotzdem abgerufen und erst danach verworfen. Das spart kein Crawling. Gelöschte Seiten bekommen besser den Status 404 oder 410.
Fehler 3 · Die robots.txt hin- und herschalten
Unwichtige URLs wie Filterkombinationen dauerhaft per robots.txt zu sperren, empfiehlt Google. Seiten aber nur vorübergehend zu sperren, um Budget auf andere umzulenken, funktioniert laut Google nicht.
Fehler 4 · Ketten und Soft 404 dulden
Lange Weiterleitungsketten kosten Abrufe, Googlebot folgt in der Regel höchstens zehn Weiterleitungen hintereinander. Leere Seiten, die Status 200 melden, werden als Soft 404 immer wieder gecrawlt. Beides aufräumen.
So hilfst du Google beim Crawlen
- Filter-URLs zähmen: unnötige Kombinationen per robots.txt sperren, nur Produktseiten und die ungefilterte Liste crawlbar lassen.
- Sitemap pflegen: nur wichtige, indexierbare URLs, mit korrektem lastmod. Google nutzt das Datum nur, wenn es verlässlich stimmt. Eine Sitemap darf höchstens 50.000 URLs oder 50 MB haben.
- Server schnell halten: Ein schneller, stabiler Server hebt das Kapazitätslimit.
- Duplikate entfernen: Google rät, das Crawling auf einzigartige Inhalte zu lenken, nicht auf einzigartige URLs.
- Nachsehen statt raten: Bericht „Crawling-Statistik“ in der Search Console oder eine Logfile-Analyse.
Bremsen kannst du Google seit Januar 2024 nicht mehr per Regler in der Search Console, das Werkzeug wurde abgeschaltet. Google reagiert stattdessen von selbst auf Serverfehler. Für Bing und einige andere Suchmaschinen gibt es mit IndexNow einen Weg, geänderte URLs aktiv zu melden — Google macht dabei nicht mit.
Häufige Fragen
Muss ich mich als kleine Website um das Crawl-Budget kümmern?
In der Regel nicht. Google richtet sich mit dem Thema an Websites ab 10.000 oder einer Million Seiten. Für kleinere Seiten reichen eine aktuelle Sitemap und ein regelmäßiger Blick in den Bericht „Seitenindexierung“.
Ist das Crawl-Budget ein Rankingfaktor?
Nein. Google hat klargestellt, dass Crawling kein Ranking-Signal ist. Öfter gecrawlt heißt nicht besser platziert.
Wie finde ich heraus, wie oft Google meine Website crawlt?
In der Google Search Console unter Einstellungen im Bericht „Crawling-Statistik“. Er zeigt Anfragen, Downloadgröße, Antwortzeiten und Statuscodes. Noch genauer wird es mit einer Logfile-Analyse.
Spart noindex Crawl-Budget?
Nein. Google ruft Seiten mit noindex trotzdem ab und verwirft sie erst danach. Wer Crawling sparen will, sperrt unwichtige URLs dauerhaft per robots.txt oder löscht sie mit Status 404 oder 410.
Kann ich Google sagen, langsamer zu crawlen?
Den Regler in der Search Console gibt es seit Januar 2024 nicht mehr. Google bremst von selbst, wenn dein Server mit Fehlern wie 500, 503 oder 429 antwortet.
