Was ist ein A/B-Test?
Ein A/B-Test beantwortet eine Frage, über die Teams sonst stundenlang diskutieren: Welche Version funktioniert besser — und zwar bei echten Besuchern?
Das Prinzip ist simpel. Die eine Hälfte deiner Besucher sieht das Original (A, die Kontrolle), die andere eine geänderte Version (B, die Variante). Wer was sieht, entscheidet der Zufall. Danach vergleichst du, welche Gruppe häufiger das getan hat, was du dir wünschst.
Testen lässt sich fast alles:
- Die Überschrift einer Landingpage
- Text und Farbe eines Buttons
- Die Betreffzeile eines Newsletters
- Bild oder Text einer Anzeige
- Die Länge eines Formulars
Entscheidend ist der Zufall. Nur wenn beide Gruppen zufällig gemischt sind, liegt ein Unterschied an deiner Änderung — und nicht am Wochentag oder an der Kampagne, die gerade läuft.
So läuft ein A/B-Test ab
- Vermutung aufschreiben: „Wenn ich X ändere, steigt Y, weil Z.“ Fachleute nennen das Hypothese. Ohne das „weil“ lernst du aus dem Ergebnis nichts.
- Eine Kennzahl festlegen: meist die Conversion Rate. Vorher, nicht hinterher.
- Stichprobe berechnen: Wie viele Besucher brauchst du je Version?
- Laufen lassen: mindestens eine volle Woche, damit Werktage und Wochenende enthalten sind.
- Auswerten und umsetzen: Gewinner einbauen, Test abschalten, Ergebnis notieren.
Der wichtigste Schritt ist der dritte. An ihm scheitern die meisten Tests, bevor sie begonnen haben.
Wie viele Besucher brauchst du?
Mehr, als du denkst. Ein Test soll einen echten Unterschied vom Zufall trennen. Dafür haben sich zwei Werte eingebürgert:
- 95 % Sicherheit, dass ein gemessener Unterschied kein Zufall ist — das Signifikanzniveau.
- 80 % Chance, einen vorhandenen Unterschied auch zu finden — die Trennschärfe, englisch Power.
Mit diesen Werten liefert ein Stichproben-Rechner folgende Zahlen:
CR vorher
Steigerung
Je Version
3 %
+20 %
13.050
3 %
+10 %
51.486
2 %
+20 %
19.784
2 %
+10 %
78.039
Lies die erste Zeile so: Deine CR liegt bei 3 % und du willst eine Steigerung um ein Fünftel nachweisen, also von 3,0 auf 3,6 %. Dafür brauchst du rund 13.000 Besucher je Version — zusammen 26.000.
Beispiele aus der Praxis
Dieselbe Rechnung, zwei sehr verschiedene Antworten. Beide Fälle starten bei 3 % und hoffen auf 20 % Steigerung.
Case A · Dienstleister
Steuerberatung, Kontaktseite
3.000
Besucher / Monat
26.100
nötig für den Test
26.100 ÷ 3.000 = knapp 9 Monate
Zu lang. Hier lohnt kein Test auf Details — ändere mutig und beobachte die Anfragen.
Case B · Shop
Online-Shop für Fahrradzubehör
60.000
Besucher / Monat
26.100
nötig für den Test
26.100 ÷ 60.000 = rund 13 Tage
Machbar. Zwei volle Wochen laufen lassen, dann auswerten.
Häufige Fehler
Fehler 1 · Zu früh aufhören
Nach drei Tagen liegt B vorn, also abbrechen und feiern? Genau das verfälscht das Ergebnis. Wer täglich nachsieht und beim ersten Vorsprung stoppt, hält Zufall für einen Gewinner. In einer oft zitierten Beispielrechnung steigt die Fehlerquote so von 5 auf 26 %. Leg die Stichprobe vorher fest und halte durch.
Fehler 2 · Mehrere Dinge gleichzeitig ändern
Neue Überschrift, neues Bild, neuer Button — und B gewinnt. Woran lag es? Das weißt du nicht. Ändere eine Sache pro Test.
Fehler 3 · Ohne Vermutung testen
„Mal sehen, was passiert“ ist kein Test. Weißt du nicht, warum B besser sein soll, kannst du aus dem Ergebnis nichts für die nächste Seite ableiten.
Fehler 4 · Immer einen Gewinner erwarten
Die meisten Tests bringen keinen Sieger. Selbst bei großen Tech-Unternehmen verbessert je nach Firma nur jeder dritte bis jeder zehnte Test die Zielkennzahl. Eine Auswertung von 173.000 Experimenten kommt auf 12 %. Ein Test ohne Gewinner ist trotzdem kein Fehlschlag: Du hast dir eine Änderung gespart, die nichts gebracht hätte.
Womit testest du?
Googles kostenloses Werkzeug Google Optimize gibt es seit dem 30. September 2023 nicht mehr. Einen eigenen Nachfolger hat Google nicht gebaut. Stattdessen lassen sich Test-Werkzeuge anderer Anbieter an Google Analytics 4 anbinden.
Für Anzeigen brauchst du kein Extra-Werkzeug:
- Google Ads: Unter „Tests“ lässt du eine geänderte Kampagne gegen das Original antreten, empfohlen mit je 50 % des Traffics. Google rät zu vier bis sechs Wochen Laufzeit.
- Meta: Der A/B-Test im Werbeanzeigenmanager zeigt jede Version einem eigenen Teil der Zielgruppe. Meta empfiehlt mindestens sieben und höchstens 30 Tage.
Häufige Fragen
Wie lange sollte ein A/B-Test laufen?
Mindestens eine volle Woche, damit Werktage und Wochenende enthalten sind. Entscheidend ist aber die Stichprobe: Der Test läuft, bis die vorher berechnete Besucherzahl erreicht ist. Für Kampagnen-Tests in Google Ads empfiehlt Google vier bis sechs Wochen.
Schadet ein A/B-Test meinem Google-Ranking?
Nicht, wenn du vier Regeln von Google einhältst: Zeig dem Googlebot dasselbe wie deinen Besuchern. Setz bei eigenen Test-Adressen einen Canonical Tag auf das Original. Leite mit 302 weiter, nicht mit 301. Und beende den Test, sobald er fertig ist.
Brauche ich für A/B-Tests eine Einwilligung?
Geh davon aus. Setzt das Werkzeug Cookies oder liest es Daten vom Gerät, greift § 25 TDDDG. Eine pauschale Ausnahme für A/B-Tests gibt es in Deutschland nicht, die Datenschutzbehörden prüfen den Einzelfall. Im Zweifel gehört das Werkzeug in den Cookie-Banner. Das ist eine Einordnung, keine Rechtsberatung.
Lohnt sich ein A/B-Test bei wenig Traffic?
Für Details selten. Mit 3.000 Besuchern im Monat läuft ein Test auf 20 % Steigerung fast neun Monate. Ändere lieber Großes, frag deine Kunden direkt und vergleich die Zahlen vor und nach der Änderung. Das ist weniger sauber als ein Test, aber besser als Raten.
