Was ist ein User-Agent?
Jedes Mal, wenn ein Browser oder ein Bot eine Seite von deinem Server abruft, schickt er ein paar Zeilen Zusatzinformation mit. Eine davon heißt User-Agent. Darin steht, wer da anfragt: welcher Browser, welches Betriebssystem, welcher Crawler.
Festgelegt ist das im HTTP-Standard (RFC 9110). Server nutzen die Angabe, um Inhalte anzupassen, Fehler einzugrenzen und Statistiken zu führen. Für Marketing und SEO ist der User-Agent vor allem an drei Stellen wichtig:
- robots.txt: Regeln gelten für bestimmte User-Agents, etwa nur für Googlebot oder nur für KI-Crawler.
- Logfiles: Wer wissen will, wie oft Google seine Seiten crawlt, filtert die Server-Logs nach dem User-Agent.
- Analytics: Bekannte Bots werden anhand ihres User-Agents aus den Besucherzahlen herausgefiltert.
Wie ein User-Agent aufgebaut ist
Browser-User-Agents sehen kryptisch aus, weil sie aus historischen Gründen fast alle mit Mozilla/5.0 beginnen. Danach folgen Plattform, Render-Engine und am Ende die eigentliche Kennung. Beim Googlebot für Smartphones endet die Zeile laut Google so:
… (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Davor steht eine Chrome-Version, die mit der Zeit steigt. Google empfiehlt deshalb, Logs nicht nach dem ganzen String, sondern nach dem Kürzel „Googlebot“ zu durchsuchen. In der robots.txt reicht genau dieses Kürzel.
Auch die KI-Anbieter haben eigene Crawler mit eigenem User-Agent:
Crawler
Zweck
GPTBot
Training (OpenAI)
OAI-SearchBot
Suche in ChatGPT
ClaudeBot
Training (Anthropic)
Claude-SearchBot
Suche in Claude
PerplexityBot
Suche in Perplexity
Wichtig für die Sichtbarkeit in der KI-Suche: Wer GPTBot sperrt, verhindert das Training — wer OAI-SearchBot sperrt, verschwindet aus den Suchergebnissen von ChatGPT. Für Gemini gibt es das Kürzel Google-Extended. Laut Google hat es keinen Einfluss auf die Google-Suche.
Wie viel Verkehr kommt von Bots?
Mehr, als die meisten denken. Laut Bad Bot Report von Imperva war 2024 erstmals seit rund zehn Jahren mehr als die Hälfte des gesamten Web-Verkehrs automatisiert: 51 %. 37 % stufte Imperva als bösartige Bots ein.
Cloudflare misst im eigenen Netz: 2025 kam Googlebot auf über 28 % des Verkehrs aller verifizierten Bots, GPTBot auf rund 7,5 %. Am häufigsten komplett per robots.txt ausgesperrt waren KI-Crawler wie GPTBot, ClaudeBot und CCBot. Beide Zahlen messen Verschiedenes — Imperva den gesamten Verkehr seiner Kunden, Cloudflare Anfragen im eigenen Netz.
So erkennst du gefälschte Bots
Google beschreibt einen einfachen Weg in vier Schritten:
- Die IP-Adresse aus dem Log per Reverse-DNS abfragen, etwa mit dem Befehl host.
- Prüfen, ob der Name auf googlebot.com, google.com oder googleusercontent.com endet.
- Diesen Namen wieder per DNS abfragen.
- Prüfen, ob dieselbe IP-Adresse herauskommt.
Einfacher geht es mit den IP-Listen, die Google, OpenAI, Anthropic und Perplexity als JSON-Dateien veröffentlichen. Tools wie der Log File Analyser von Screaming Frog machen das automatisch.
Ein Beispiel, warum das wichtig ist: Laut Cloudflare kamen im August 2025 Anfragen mit einem gewöhnlichen Chrome-User-Agent, nachdem der offizielle Perplexity-Crawler gesperrt war — Cloudflare ordnete sie Perplexity zu. Perplexity hat das bestritten. Die Lehre bleibt: Ein User-Agent allein beweist nichts.
Häufige Fehler
Fehler 1 · Dem User-Agent glauben
Bevor du einen „Googlebot“ sperrst oder ihm Sonderrechte gibst, prüf die IP. Sonst sperrst du vielleicht den echten oder lässt einen falschen durch.
Fehler 2 · robots.txt für einen Zaun halten
Der Standard RFC 9309 sagt ausdrücklich, dass die Regeln keine Zugangskontrolle sind. Abrufe, die ein Nutzer auslöst — etwa ChatGPT-User oder Perplexity-User —, halten sich laut den Anbietern oft nicht daran. Was geheim bleiben soll, gehört hinter ein Passwort.
Fehler 3 · Die Gruppen-Logik übersehen
Gibt es in deiner robots.txt eine eigene Gruppe für Googlebot, gelten die Regeln unter User-agent: * für Google nicht mehr. Google nimmt immer die spezifischste passende Gruppe.
Fehler 4 · Nach Versionsnummern filtern
Chrome kürzt seinen User-Agent seit Version 113 (2023): Statt der genauen Version steht nur noch die Hauptversion mit „.0.0.0“, auf Android heißt jedes Gerät „Android 10; K“. Filter nach Kürzeln, nicht nach exakten Strings. Wer Details braucht, fragt sie über Client Hints ab.
Was du konkret tun kannst
- In der Google Search Console unter Crawling-Statistiken nachsehen, welche Googlebot-Typen wie oft kommen.
- Deine robots.txt prüfen: Welche KI-Crawler willst du fürs Training sperren, welche für die Suche zulassen?
- Bei auffälligem Verkehr die IP gegen die offiziellen Listen prüfen, bevor du sperrst.
- Keine Angst um Analytics: GA4 filtert bekannte Bots automatisch heraus — wie viele, zeigt es allerdings nicht.
Häufige Fragen
Kann man einen User-Agent fälschen?
Ja, mit einer Zeile Code oder im Entwicklermodus jedes Browsers. Deshalb prüfst du Crawler wie den Googlebot über die IP-Adresse: per Reverse- und Forward-DNS oder mit den IP-Listen der Anbieter.
Wie sperre ich KI-Crawler, ohne aus der ChatGPT-Suche zu fliegen?
Sperr in der robots.txt nur die Trainings-Crawler, also GPTBot und ClaudeBot, und lass die Such-Crawler OAI-SearchBot und Claude-SearchBot zu. Die Anbieter beschreiben diese Trennung in ihrer Dokumentation.
Schadet es meinem Google-Ranking, Google-Extended zu sperren?
Laut Google nein. Google-Extended steuert nur, ob deine Inhalte für Gemini-Modelle genutzt werden, und hat keinen Einfluss auf die Aufnahme in die Google-Suche.
Warum zeigen Chrome-User-Agents nur noch „.0.0.0“?
Wegen der User-Agent Reduction: Chrome hat die Angaben seit 2023 gekürzt, damit Geräte weniger leicht wiedererkennbar sind. Genauere Daten liefert der Browser nur noch auf Nachfrage über Client Hints.
Filtert Google Analytics Bots heraus?
Ja. GA4 schließt Verkehr von bekannten Bots und Spidern automatisch aus. Abschalten lässt sich das nicht, und wie viel gefiltert wurde, siehst du nicht.
Quellen
- RFC 9110: HTTP Semantics, User-Agent
- Google Search Central: Übersicht der Google-Crawler
- Google Search Central: Googlebot verifizieren
- Google Search Central: robots.txt-Spezifikation
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Crawler und robots.txt
- Imperva: Bad Bot Report 2025
- Cloudflare Radar: Year in Review 2025
- Chromium: User-Agent Reduction
- Google Analytics-Hilfe: Bot-Traffic ausschließen
