Was ist Pay per Crawl?
Früher war der Deal im Netz klar: Google liest deine Seite und schickt dir dafür Besucher. Bei KI-Crawlern hakt dieser Tausch. Sie lesen viel — und schicken kaum jemanden zurück.
Pay per Crawl setzt genau da an. Als Website-Betreiber legst du für jeden KI-Crawler eine von drei Regeln fest:
- Erlauben: Der Crawler darf kostenlos lesen.
- Berechnen: Er darf lesen, wenn er pro Abruf einen Preis zahlt.
- Blockieren: Er bekommt gar nichts.
Vorgestellt hat das Modell Cloudflare am 1. Juli 2025. Ein Crawler ohne Zahlungszusage bekommt statt der Seite den Status 402 „Payment Required“ samt Preis zurück. Zahlt er, kommt der Inhalt ganz normal. Cloudflare rechnet mit den KI-Firmen ab und zahlt die Betreiber aus.
Warum es Pay per Crawl gibt
Der Grund steckt in einer Kennzahl: der Crawl-to-Refer-Ratio. Sie zeigt, wie viele Seiten eine Plattform abruft, gemessen daran, wie oft sie Nutzer zurückschickt. Cloudflare Radar hat für Juli 2025 diese Werte gemessen:
Plattform
Abrufe je Besucher
5,4
Microsoft
41
Perplexity
195
OpenAI
1.091
Anthropic
38.065
Cloudflare selbst schränkt ein: Die Claude-App sendet keine Herkunftsangabe mit, der Wert für Anthropic dürfte deshalb zu hoch sein. Die Richtung ist trotzdem eindeutig. Dazu kommt: Laut Cloudflare dienten in den zwölf Monaten bis Juli 2025 rund 80 % des KI-Crawlings dem Training, 18 % der Suche und 2 % Nutzeraktionen. Training bringt dir gar keine Besucher.
Wo Pay per Crawl heute steht
Ehrlich gesagt: noch am Anfang. Laut Cloudflare-Doku ist Pay per Crawl (Stand November 2026) eine geschlossene Beta. Man bewirbt sich per Formular. Öffentliche Zahlen zu Preisen, Umsätzen oder zahlenden KI-Firmen gibt es nicht.
Im Juli 2026 hat Cloudflare den nächsten Schritt angekündigt: Pay Per Use. Bezahlt wird dabei nicht mehr für den bloßen Abruf, sondern wenn ein Inhalt tatsächlich genutzt wird, etwa in einer KI-Antwort. Den Preis setzt der KI-Anbieter, der Betreiber nimmt an oder nicht. Seit dem 30. September 2026 läuft Pay Per Use als Beta, Partner sind unter anderem Ceramic.ai und You.com.
Parallel gibt es einen offenen Standard ohne Cloudflare: RSL (Really Simple Licensing), Version 1.0 seit Dezember 2025. Lizenzbedingungen stehen dabei maschinenlesbar in einer Datei, auf die deine robots.txt verweist. Cloudflare will RSL-Lizenzen in die 402-Antworten einbinden.
Häufige Fehler
Fehler 1 · „Pay per Crawl bringt automatisch Geld“
Nur wenn ein Crawler auch zahlen will. Ohne Abrechnungsbeziehung wirkt „berechnen“ praktisch wie eine Sperre. Für kleine Websites ist das heute eher ein Schutzschalter als eine Einnahmequelle.
Fehler 2 · Es mit robots.txt verwechseln
Die robots.txt ist eine freundliche Bitte. Ein Crawler kann sie ignorieren. Pay per Crawl wird dagegen im Netzwerk von Cloudflare durchgesetzt, und die Crawler müssen sich mit einem kryptografischen Schlüssel ausweisen (Web Bot Auth).
Fehler 3 · Alle KI-Crawler über einen Kamm scheren
Ein Trainings-Crawler und ein Such-Crawler sind zwei Paar Schuhe. Wer alles sperrt oder bepreist, fällt womöglich auch aus KI-Suchen wie Perplexity oder ChatGPT-Suche heraus. Prüf also je Crawler, was er dir bringt.
Fehler 4 · Glauben, es ginge ohne Cloudflare
Pay per Crawl ist ein Cloudflare-Produkt. Liegt deine Website nicht hinter Cloudflare, kannst du es nicht nutzen. Alternativen wie TollBit oder ein RSL-Eintrag arbeiten anders und sind ebenfalls noch jung.
Was heißt das für deine Website?
Für die meisten KMU ist Pay per Crawl heute keine Geldquelle. Es ist aber ein guter Anlass, die eigene Haltung zu KI-Crawlern zu klären:
- Messen: Schau in deine Server-Logs oder in Cloudflares AI Crawl Control, welche Bots wie oft kommen.
- Trennen: Such-Crawler, die Besucher bringen können, anders behandeln als reine Trainings-Crawler.
- Entscheiden: Willst du in KI-Antworten auftauchen? Dann nicht pauschal sperren.
- Beobachten: Pay Per Use und RSL entwickeln sich schnell. In einem Jahr kann die Lage ganz anders aussehen.
Häufige Fragen
Kann ich Pay per Crawl als kleines Unternehmen schon nutzen?
Nur, wenn deine Website über Cloudflare läuft und du in die geschlossene Beta aufgenommen wirst. Laut Cloudflare-Doku (Stand November 2026) bewirbt man sich per Formular, Enterprise-Kunden über ihren Ansprechpartner.
Was verdient man mit Pay per Crawl?
Dazu gibt es keine öffentlichen Zahlen. Den Preis pro Abruf legt der Betreiber fest, aber ob und wie oft KI-Firmen zahlen, ist nicht bekannt. Rechne als kleine Website nicht mit nennenswerten Einnahmen.
Was ist der Unterschied zwischen Pay per Crawl und Pay Per Use?
Bei Pay per Crawl zahlt der Crawler für jeden Abruf einer Seite. Bei Pay Per Use, seit September 2026 als Beta, zahlt der KI-Anbieter erst, wenn dein Inhalt tatsächlich genutzt wird, etwa in einer Antwort. Den Preis setzt dort der KI-Anbieter, du nimmst an oder nicht.
Schadet es meiner Sichtbarkeit, wenn ich KI-Crawler sperre?
Es kann. Sperrst du die Crawler, die für KI-Suchen Inhalte holen, tauchst du dort seltener als Quelle auf. Reine Trainings-Crawler zu sperren kostet dich dagegen keine Besucher. Entscheide je Crawler.
Was bedeutet der HTTP-Status 402?
402 heißt „Payment Required“, also Zahlung erforderlich. Der Code ist seit Langem im HTTP-Standard reserviert, wurde aber kaum genutzt. Bei Pay per Crawl bekommt ein Crawler ohne Zahlungszusage diesen Status samt Preis statt der Seite.
