Was ist Peeking?
Dein A/B-Test läuft seit drei Tagen. Du schaust ins Tool: Variante B liegt vorne, „signifikant“. Du stoppst und rollst aus. Genau das ist Peeking — und es ist eine der teuersten Gewohnheiten im Testing.
Klassische Signifikanztests setzen voraus, dass du die Besucherzahl vorher festlegst und am Ende einmal auswertest. Schaust du ständig rein und stoppst beim ersten guten Wert, hast du nicht einen Test gemacht, sondern zwanzig. Und bei zwanzig Würfen kommt irgendwann eine Sechs.
Wie stark Peeking die Ergebnisse verfälscht
Der Statistiker Evan Miller hat es 2010 durchgerechnet: Ein Test ohne echten Unterschied, 5 % Signifikanzniveau, ständig kontrolliert und beim ersten Treffer gestoppt. Ergebnis: 26,1 % Fehlalarme statt 5 %. Mehr als fünfmal so viele falsche Gewinner.
Wer trotzdem zwischendurch entscheiden will, muss bei jedem Blick strenger sein. Diese Schwelle muss der Zwischenstand dann unterschreiten, damit am Ende wirklich 5 % herauskommen:
Anzahl Blicke
Nötige Schwelle
1
2,9 %
2
2,2 %
5
1,4 %
10
1,0 %
Die Fachliteratur bestätigt das. Bei rund 10.000 Besuchern, in Online-Tests üblich, kann sich der Fehler 1. Art durch laufendes Beobachten leicht verfünffachen, schreiben Johari, Pekelis und Walsh.
Beispiele aus der Praxis
Case A · A/A-Simulation
Optimizely, 5.000 Besucher, zwei identische Seiten
26 %
Fehlalarm, Blick alle 500
3 %
mit sequenziellem Test
Über den ganzen Verlauf meldeten mehr als 57 % mindestens einmal einen falschen Sieger
Simulation von Optimizely aus dem Jahr 2015. Es gab gar keinen Unterschied zwischen den Varianten.
Case B · Echte Experimente
2.101 Optimizely-Tests
57 %
stoppen bei 90 % Konfidenz
33 → 42 %
falsche Gewinner
Frühes Stoppen hebt den Anteil der Nieten um ein Viertel
Arbeitspapier von Berman, Pekelis, Scott und Van den Bulte, 2018.
Häufige Fehler
Fehler 1 · „Bayes-Tests sind immun“
Viele glauben, mit bayesscher Statistik dürfe man jederzeit stoppen. GrowthBook schreibt in der eigenen Doku das Gegenteil: Auch Bayes-Auswertungen leiden unter frühem Stoppen. Die Fehlalarme steigen trotzdem.
Fehler 2 · Die Stichprobe mittendrin neu rechnen
„Der Test braucht ja nur noch 2.000 Besucher …“ — wer die Zielgröße während des Tests anpasst, peekt durch die Hintertür. Laut Optimizely heben auch scheinbar vorsichtige Abbruchregeln die Fehlerrate von 5 auf über 25 %.
Fehler 3 · Vor dem Wochenende stoppen
Montags kaufen andere Leute als sonntags. Ein Test, der keine volle Woche läuft, misst Zufall plus Wochentag. Optimizely rät zu mindestens einem Geschäftszyklus, angesetzt mit sieben Tagen. Google Ads empfiehlt zwei bis drei Wochen.
Fehler 4 · Dem frühen Gewinner glauben
Wer bei einem Ausreißer stoppt, misst nicht nur öfter falsche Gewinner, sondern auch zu große Effekte. Statsig rät deshalb, für die Effektgröße immer die volle geplante Laufzeit abzuwarten.
So vermeidest du Peeking
- Vorher festlegen: Minimum Detectable Effect, Besucherzahl und Laufzeit in volle Wochen — und dabei bleiben.
- Sequenziell testen: Optimizely, Statsig und GrowthBook bieten Verfahren an, die laufendes Beobachten erlauben. Der Preis sind breitere Konfidenzintervalle.
- Nur auf Schaden schauen: Zwischendurch reinschauen ist okay, um kaputte Varianten zu stoppen — nicht, um Gewinner auszurufen.
- A/A-Test machen: Zwei identische Seiten gegeneinander laufen lassen zeigt dir, wie oft dein Setup Fehlalarme produziert.
Häufige Fragen
Darf ich einen A/B-Test beenden, wenn er schon signifikant ist?
Bei einem klassischen Test nicht, solange die geplante Besucherzahl nicht erreicht ist. Sonst steigen die Fehlalarme stark. Nutzt dein Tool sequenzielles Testen, ist frühes Stoppen im Rahmen dieses Verfahrens erlaubt.
Wie lange sollte ein A/B-Test mindestens laufen?
So lange, bis die vorher berechnete Besucherzahl erreicht ist, und mindestens eine volle Woche. Optimizely setzt einen Geschäftszyklus mit sieben Tagen an, Google Ads empfiehlt zwei bis drei Wochen.
Sind Bayes-Tests vor Peeking geschützt?
Nein. GrowthBook weist selbst darauf hin, dass frühes Stoppen auch bei bayesschen Auswertungen die Fehlalarme erhöht. Auch dort brauchst du eine vorab festgelegte Stoppregel.
Was ist sequenzielles Testen?
Ein Verfahren, das von vornherein mit Zwischenblicken rechnet. Es passt die Schwellen so an, dass die Fehlerrate trotz Reinschauen gedeckelt bleibt. Optimizely nutzt so ein Verfahren seit 2015, auch Statsig und GrowthBook bieten es an.
Wie oft darf ich in einen laufenden Test schauen?
So oft du willst, solange du nicht auf Basis des Zwischenstands entscheidest. Ausnahme: Eine Variante ist offensichtlich kaputt, etwa weil der Checkout nicht funktioniert. Dann sofort stoppen.
