Was ist eine Logfile-Analyse?
Jedes Mal, wenn jemand eine Datei von deiner Website abruft, schreibt der Webserver eine Zeile in sein Zugriffsprotokoll, das Access-Log. Menschen, Suchmaschinen, KI-Crawler, Spam-Bots — alle landen dort. Die Logfile-Analyse wertet diese Zeilen aus.
So sieht eine Zeile im verbreiteten „Combined Log Format“ von Apache aus, nginx nutzt dieselben Felder:
- IP-Adresse des Abrufers
- Zeitstempel
- Anfrage: Methode, URL und Protokoll, etwa GET /leistungen/ HTTP/1.1
- Statuscode: 200, 301, 404, 500 …
- Größe der Antwort in Bytes
- Referer: von welcher Seite der Abruf kam
- User-Agent: wer sich als was ausgibt, etwa Googlebot oder GPTBot
Was du in den Logs findest
- Welche URLs Google crawlt — und welche nie. Wichtige Seiten, die Googlebot wochenlang nicht besucht, sind ein Warnsignal.
- Verschwendetes Crawling auf Filter-URLs, Parametern oder Weiterleitungsketten. Bei großen Websites ist das die Frage nach dem Crawl-Budget.
- Fehler: 404 auf alte URLs nach einem Relaunch, 5xx bei Lastspitzen.
- KI-Crawler: ob GPTBot, OAI-SearchBot, ClaudeBot und andere vorbeikommen und was sie abrufen.
Wie groß das Thema KI-Crawler geworden ist, zeigt Cloudflare: 2025 machten KI-Bots im Schnitt 4,2 % aller HTML-Anfragen im Cloudflare-Netz aus, Googlebot allein 4,5 %. Bei Anthropic kamen auf einen Besucher, den die KI zurückschickte, zeitweise bis zu 500.000 abgerufene Seiten.
Die Search Console zeigt im Bericht „Crawling-Statistik“ einen Teil davon: Anfragen, Antwortzeiten und Statuscodes. Allerdings nur für Google-Crawler, zusammengefasst und nur für Properties auf Stammebene. Logs zeigen jede einzelne URL und alle Bots.
Nicht jeder Googlebot ist Google
Der User-Agent ist nur eine Selbstauskunft — und frei fälschbar. Eine Auswertung von Imperva aus dem Jahr 2014 über 400 Mio. Suchmaschinen-Besuche fand: Mehr als 4 % der Bots, die sich als Googlebot ausgaben, waren keiner.
Google beschreibt deshalb, wie du echte Googlebots erkennst:
- Reverse-DNS: Zur IP aus dem Log den Hostnamen abfragen. Er muss auf googlebot.com, google.com oder googleusercontent.com enden.
- Forward-DNS: Diesen Hostnamen wieder auflösen. Kommt dieselbe IP heraus, ist der Bot echt.
- IP-Listen: Google, OpenAI und Anthropic veröffentlichen die IP-Bereiche ihrer Crawler als JSON-Dateien zum automatischen Abgleich.
Bei den KI-Anbietern lohnt der genaue Blick, denn es gibt mehrere Bots: OpenAI trennt GPTBot fürs Training, OAI-SearchBot für die Suche in ChatGPT und ChatGPT-User für Abrufe, die ein Nutzer auslöst. Anthropic unterscheidet ClaudeBot, Claude-SearchBot und Claude-User. Die Einstellungen in der robots.txt gelten jeweils getrennt.
Häufige Fehler
Fehler 1 · User-Agents blind vertrauen
Wer jeden „Googlebot“ im Log für Google hält, zieht falsche Schlüsse über das Crawling. Prüf die IPs, bevor du auswertest.
Fehler 2 · Unvollständige Logs auswerten
Liegt ein CDN oder ein Cache vor dem Server, kommen viele Abrufe gar nicht bis zum Ursprungsserver. Steht ein Proxy davor, siehst du dessen IP statt der echten. Bezieh dann die Logs des CDN mit ein.
Fehler 3 · Zu kurzen Zeitraum ansehen
Ein, zwei Tage zeigen nur die Seiten, die oft gecrawlt werden. Wie oft Google deine Unterseiten wirklich besucht, siehst du erst über mehrere Wochen.
Fehler 4 · Datenschutz vergessen
Logs enthalten IP-Adressen. Nach dem Urteil des EuGH vom 19.10.2016 (C-582/14, Breyer) können auch dynamische IP-Adressen für Website-Betreiber personenbezogene Daten sein. Der EuGH sieht zugleich ein mögliches berechtigtes Interesse, etwa zum Schutz vor Angriffen. Heißt praktisch: Logs nur für einen klaren Zweck, nur so lange wie nötig, IPs wenn möglich kürzen.
So fängst du an
- Logs besorgen: im Hosting-Panel, per FTP im Ordner logs oder beim Hoster nachfragen. Viele Hoster bewahren sie nur kurz auf.
- Tool wählen: Der Screaming Frog Log File Analyser verarbeitet in der Gratisversion 1.000 Zeilen und prüft Bots automatisch. Für große Websites gibt es SEO-Plattformen mit Log-Modul wie Semrush, JetOctopus, Oncrawl oder Botify, Open Source etwa GoAccess.
- Nach Bot filtern: echte Googlebots, dann Bingbot und KI-Crawler getrennt.
- Fragen stellen: Welche wichtigen Seiten fehlen? Wo gibt es 404 oder 5xx? Wie viel Crawling geht auf Parameter-URLs?
Häufige Fragen
Brauche ich als kleine Website eine Logfile-Analyse?
Für das Crawl-Budget selten, das betrifft laut Google vor allem Websites ab 10.000 Seiten. Nützlich ist ein Blick trotzdem nach einem Relaunch, bei rätselhaften Indexierungsproblemen und um zu sehen, welche KI-Crawler vorbeikommen.
Wie erkenne ich einen echten Googlebot?
Mit einer Reverse-DNS-Abfrage der IP: Der Hostname muss auf googlebot.com, google.com oder googleusercontent.com enden. Dann den Hostnamen vorwärts auflösen, es muss dieselbe IP herauskommen. Alternativ mit Googles IP-Listen abgleichen.
Wie sehe ich, ob ChatGPT oder Claude meine Seite crawlen?
Im Log nach den User-Agents suchen, etwa GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot oder Claude-SearchBot. Zur Sicherheit die IPs mit den veröffentlichten Listen von OpenAI und Anthropic abgleichen.
Reicht nicht der Crawling-Statistikbericht der Search Console?
Für einen Überblick über Google oft ja. Er zeigt aber nur Google-Crawler, fasst Daten zusammen und nennt nicht jede URL. Für Bing, KI-Crawler und einzelne Adressen brauchst du die Logs.
Darf ich Server-Logs mit IP-Adressen speichern?
IP-Adressen können personenbezogene Daten sein. Ein berechtigtes Interesse, etwa die Sicherheit der Website, kann die Speicherung tragen. Halt den Zweck klar, die Frist kurz und kürze IPs, wo es geht. Das ist keine Rechtsberatung.
Quellen
- Apache HTTP Server: Log Files
- nginx: Modul ngx_http_log_module
- Google Search Central: Googlebot überprüfen
- Search Console-Hilfe: Bericht „Crawling-Statistik“
- Cloudflare Radar: 2025 Year in Review
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Crawler und robots.txt
- EuGH: Pressemitteilung zu C-582/14 (Breyer)
