Was ist Web Bot Auth?
Woher weißt du eigentlich, dass ein Besucher, der sich „Googlebot“ nennt, wirklich von Google kommt? Bisher: gar nicht sicher. Den Namen, den ein Bot mitschickt, kann jeder fälschen. Web Bot Auth soll das ändern.
Die Idee: Ein Bot unterschreibt jede Anfrage digital, mit einem privaten Schlüssel. Den passenden öffentlichen Schlüssel veröffentlicht der Bot-Betreiber an einer festen Adresse auf seiner Domain. Die Website oder ihr Content Delivery Network (CDN) prüft die Unterschrift. Passt sie, ist klar: Diese Anfrage kommt wirklich von dem, der er zu sein behauptet.
Technisch beruht das auf dem Internet-Standard RFC 9421 für signierte HTTP-Nachrichten, veröffentlicht im Februar 2024. Eine eigene Arbeitsgruppe der IETF namens „webbotauth“ arbeitet daran, das Verfahren für Bots festzuschreiben.
Warum das gerade jetzt wichtig wird
Bots machen inzwischen mehr als die Hälfte des Webverkehrs aus. Laut dem Bad Bot Report von Imperva kamen 2025 über 53 % aller Anfragen von Automatisierung, nur 47 % von Menschen. Cloudflare misst für KI-Bots allein im Schnitt 4,2 % aller Abrufe von HTML-Seiten, fast so viel wie der Googlebot mit 4,5 %.
Dazu kommen KI-Agenten, die im Auftrag von Menschen surfen, vergleichen und bald auch einkaufen. Bisher erkannte man gute Bots über ihre IP-Adressen. Cloudflare nennt das brüchig: IP-Adressen werden geteilt, wechseln und lassen sich über Proxys verschleiern. Eine Signatur ist dagegen eindeutig.
Wer nutzt Web Bot Auth schon?
- OpenAI: Der Agent in ChatGPT signiert jede Anfrage. Die Schlüssel liegen öffentlich bei chatgpt.com.
- Google: signiert einen Teil der Anfragen seines Agenten, nennt das ausdrücklich experimentell und rät, die IP-Prüfung beizubehalten.
- Amazon: Der Browser in Bedrock AgentCore kann signieren, als Vorschau-Funktion.
- Cloudflare und Akamai: prüfen die Signaturen am Netzrand, ohne Aufwand für deinen Server.
- Visa und Mastercard: nutzen das Verfahren seit Oktober 2025 als Ausweis für Agenten, die im Auftrag von Kunden stöbern oder bezahlen.
Cloudflare hat Web Bot Auth im Mai 2025 vorgestellt, mit OpenAI als erstem Partner. Bots, die sich so ausweisen und robots.txt einhalten, können bei Cloudflare als „Verified Bot“ aufgenommen werden.
Was Web Bot Auth nicht ist
Verfahren
Beantwortet die Frage
Web Bot Auth
Wer bist du?
robots.txt
Was darfst du?
Pay per Crawl
Was kostet es?
Die drei greifen ineinander. Cloudflares Pay per Crawl verlangt zum Beispiel, dass sich zahlende Crawler per Signatur ausweisen. Lizenzformate wie Really Simple Licensing beschreiben die Bedingungen, Web Bot Auth liefert den Nachweis, wer sie akzeptiert.
Häufige Fehler
Fehler 1 · Signiert heißt erlaubt
Die Signatur beweist nur die Identität. Ob ein Bot rein darf, entscheidest weiter du. Auch einen sauber signierten KI-Crawler kannst du blocken oder drosseln.
Fehler 2 · robots.txt wird überflüssig
Nein. robots.txt sagt, was erlaubt ist. Cloudflare verlangt von verifizierten Bots sogar ausdrücklich, robots.txt einzuhalten.
Fehler 3 · Das ist ein Login für Menschen
Auch nicht. Die IETF-Arbeitsgruppe schließt die Anmeldung von Nutzern ausdrücklich aus. Captchas für menschliche Besucher bleiben davon unberührt.
Was du als Websitebetreiber tun musst
Meistens: nichts. Die Prüfung übernehmen CDN- und Bot-Schutz-Anbieter wie Cloudflare, Akamai, HUMAN, DataDome oder F5. Wer Cloudflare nutzt, sollte die Regeln für verifizierte Bots und die Einstellungen der KI-Crawler-Steuerung einmal bewusst durchgehen.
Liegt deine Website auf klassischem Webspace ohne CDN, prüft niemand die Signaturen automatisch. Selbst nachrüsten lohnt sich für kleine Seiten kaum. Nur wer selbst einen Bot oder Agenten betreibt, muss Schlüssel erzeugen und veröffentlichen.
Häufige Fragen
Muss ich für Web Bot Auth etwas auf meiner Website einrichten?
In der Regel nicht. Die Prüfung der Signaturen übernimmt dein CDN oder dein Bot-Schutz-Anbieter. Einrichten muss es nur, wer selbst einen Crawler oder KI-Agenten betreibt.
Lässt Web Bot Auth KI-Bots automatisch auf meine Seite?
Nein. Die Signatur zeigt nur, wer anfragt. Ob du den Bot reinlässt, drosselst oder sperrst, entscheidest du weiter selbst, etwa über robots.txt oder die Regeln deines CDN.
Was ist der Unterschied zwischen Web Bot Auth und robots.txt?
robots.txt legt fest, was ein Bot darf. Web Bot Auth weist nach, wer der Bot ist. Erst zusammen ergibt das Sinn: Eine Erlaubnis nützt wenig, wenn sich jeder als erlaubter Bot ausgeben kann.
Ist Web Bot Auth ein offizieller Standard?
Noch nicht. Die technische Grundlage RFC 9421 ist seit Februar 2024 ein IETF-Standard. Das Verfahren für Bots selbst ist im November 2026 noch ein Entwurf der Arbeitsgruppe „webbotauth“.
Was hat Web Bot Auth mit Agentic Commerce zu tun?
Viel. Visa und Mastercard nutzen das Verfahren, damit ein Shop erkennt, ob ein KI-Agent im Auftrag eines echten Kunden stöbert oder bezahlt. Ohne sicheren Ausweis wäre Einkaufen per Agent ein Einfallstor für Betrug.
Quellen
- IETF: RFC 9421 HTTP Message Signatures
- IETF: Entwurf HTTP Message Signatures for Bots
- IETF: Arbeitsgruppe webbotauth
- Cloudflare: Web Bot Auth
- Cloudflare-Doku: Signed Agents
- OpenAI-Hilfe: ChatGPT agent zulassen
- Google Search Central: Web Bot Auth
- AWS-Doku: Web Bot Auth im AgentCore Browser
- Cloudflare: Sicherer Agentic Commerce
- Imperva: Bad Bot Report 2026
- Cloudflare Radar: Year in Review 2025