Was ist die Crawl-to-Refer-Ratio?
Suchmaschinen hatten mit Website-Betreibern lange einen stillen Deal: Du lässt mich deine Seiten lesen, ich schicke dir Besucher. Mit KI-Antworten gerät dieser Deal ins Wanken. Die Crawl-to-Refer-Ratio misst, wie gut er noch funktioniert.
Der Netzwerkdienst Cloudflare hat die Kennzahl 2025 eingeführt und zeigt sie öffentlich auf seiner Statistik-Plattform Radar. Sie beantwortet eine einfache Frage: Wie viele Seiten ruft eine Plattform ab, bis sie einen einzigen Besucher zurückschickt?
Ein Wert von 5 : 1 heißt: fünf Abrufe für einen Besuch. Ein Wert von 10.000 : 1 heißt: Zehntausend Seiten gelesen, ein Besuch zurück. Je höher die Zahl, desto weniger lohnt sich das Geschäft für dich.
Wie wird sie berechnet?
Formel nach Cloudflare
Crawl-to-Refer-Ratio = Seitenabrufe der Crawler ÷ Seitenaufrufe mit Verweis der Plattform
Beispiel: 12.000 Abrufe durch die Bots eines Anbieters, 40 Besuche von dessen Website → 300 : 1
- Zähler: alle Abrufe von HTML-Seiten durch die Bots einer Plattform — Trainings-Bot und Bot für Nutzeranfragen zusammen.
- Nenner: Seitenaufrufe, bei denen der Browser als Herkunft eine Adresse der Plattform mitschickt, etwa chatgpt.com oder claude.ai.
- Sonderfall Google: Aufrufe aus Googles eigenem Netz zählt Cloudflare nicht mit, weil Chrome Seiten oft im Voraus lädt, ohne dass jemand sie liest.
Welche Werte gibt es?
Cloudflare hat im August 2025 Monatswerte für die großen Anbieter veröffentlicht, gemessen bei Nachrichten-Websites unter seinen Kunden:
Plattform
Juli 2025
Anthropic
38.066 : 1
OpenAI
1.091 : 1
Perplexity
194,8 : 1
Microsoft
40,7 : 1
5,4 : 1
Die Werte schwanken stark und ändern sich laufend — ein aktueller Stand steht in Cloudflare Radar. Zwei Verläufe aus demselben Bericht zeigen, wie viel Bewegung drin ist:
Verlauf A · Anthropic
Von extrem zu sehr hoch
286.930 : 1
Januar 2025
38.066 : 1
Juli 2025
Rund 87 % weniger Abrufe je Verweis
Immer noch der höchste Wert der großen Anbieter. Anthropic hat Cloudflares Methode laut Presseberichten kritisiert.
Verlauf B · Perplexity
Vom niedrigen Wert nach oben
54,6 : 1
Januar 2025
194,8 : 1
Juli 2025
Gut das Dreieinhalbfache in sechs Monaten
Google lag im selben Zeitraum zwischen 3,8 und 5,4 : 1 — klassische Suche schickt pro Abruf weiterhin am meisten zurück.
Laut Cloudflare diente KI-Crawling im Jahr bis August 2025 zu rund 80 % dem Training von Modellen, nur zu 18 % der Suche. Training bringt per Definition keine Klicks.
Häufige Fehler
Fehler 1 · Radar-Werte für die eigene Website halten
Cloudflare misst Durchschnitte über viele Kunden, die Verweise 2025 sogar nur bei Nachrichtenseiten. Deine Website kann ganz anders dastehen.
Fehler 2 · Zeitfenster vermischen
Ein Wochenwert, ein Monatswert und ein Jahreshöchstwert können für denselben Anbieter um ein Vielfaches auseinanderliegen. Nenn immer den Zeitraum mit.
Fehler 3 · Die Zahl für exakt halten
Fehlende Herkunftsangaben aus Apps und kopierte Links verzerren den Nenner. Die Ratio taugt für Größenordnungen, nicht für Nachkommastellen.
Fehler 4 · Google mit reinen KI-Crawlern gleichsetzen
Der Googlebot dient gleichzeitig der Suche und KI-Funktionen, und Teile des Google-Verkehrs zählt Cloudflare bewusst nicht. Der Vergleich hinkt also etwas.
Was tun mit der Kennzahl?
- Rechne deine eigene Ratio: Bot-Abrufe aus den Server-Logfiles oder dem Cloudflare-Dashboard durch die Sitzungen mit Quelle chatgpt.com, perplexity.ai oder claude.ai in Google Analytics 4.
- Entscheide pro Anbieter: Wer viel liest und nie zurückschickt, kann per robots.txt ausgesperrt werden. Wer Besucher bringt, darf rein.
- Trenne Training und Suche: Viele Anbieter haben getrennte Bots. Den Such-Bot zu erlauben und den Trainings-Bot zu sperren, ist oft ein guter Kompromiss.
- Schau zweimal im Jahr drauf, denn die Werte ändern sich schnell.
Häufige Fragen
Was ist eine gute Crawl-to-Refer-Ratio?
Einen festen Richtwert gibt es nicht. Zur Einordnung: Google lag 2025 laut Cloudflare meist im einstelligen Bereich, die großen KI-Anbieter bei Hunderten bis Zehntausenden Abrufen je Verweis. Je näher an 1 : 1, desto fairer der Tausch.
Wie berechne ich die Crawl-to-Refer-Ratio für meine Website?
Zähl die Abrufe der Bots eines Anbieters in deinen Server-Logfiles oder im Cloudflare-Dashboard. Teil sie durch die Sitzungen, die in Google Analytics 4 von der Website dieses Anbieters kommen. Das ist nicht ganz dieselbe Methode wie bei Cloudflare, zeigt aber die Größenordnung.
Warum ist der Wert von Anthropic so hoch?
Cloudflare nennt keinen Grund. Klar ist: Ein großer Teil des KI-Crawlings dient dem Training von Modellen, und Training bringt keine Klicks. Zudem schicken Apps oft keine Herkunftsangabe mit. Anthropic hat die Methode laut Presseberichten kritisiert.
Sollte ich KI-Crawler mit hoher Ratio blockieren?
Das ist eine Abwägung. Ein Block per robots.txt schützt deine Inhalte, kostet aber Sichtbarkeit in KI-Antworten. Oft lohnt es sich, Trainings-Bots zu sperren und Such-Bots zuzulassen.
Wo finde ich aktuelle Werte?
In Cloudflare Radar im Bereich zu KI-Bots und Crawlern. Dort stehen die Werte je Plattform mit Zeitraum. Achte beim Vergleichen darauf, dass du dasselbe Zeitfenster nimmst.
