Was ist sequenzielles Testen?
Du schaust jeden Morgen in deinen A/B-Test? Dann hast du ein Problem — es sei denn, dein Tool testet sequenziell. Ein sequenzieller Test darf während der Laufzeit beliebig oft ausgewertet und früh gestoppt werden. Die Fehlerquote bleibt trotzdem beim gewählten Niveau.
Das klappt mit angepassten Werkzeugen. Statt eines festen p-Werts und Konfidenzintervalls rechnet das Tool mit Größen, die zu jedem Zeitpunkt gültig bleiben. Eppo sagt es so: Die Garantien halten, egal wie oft du hineinschaust.
Warum klassische Tests das Reinschauen nicht vertragen
Ein klassischer Test mit festem Horizont ist nur am Ende gültig. Wer zwischendurch prüft und beim ersten grünen Wert stoppt, sammelt Fehlalarme. Spotify rechnet vor: Schon zwei Auswertungen machen aus einem 5-%-Test faktisch etwa 10 %.
Wie oft geschaut
Falsche Gewinner
einmal am Ende
5 %
alle 1.000 Besucher
20 %
alle 500 Besucher
26 %
nach jedem Besucher
über 57 %
sequenziell, beliebig oft
3 %
Die Werte stammen aus einer Simulation von Optimizely 2015 mit A/A-Tests, also Tests ohne echten Unterschied, bei 5.000 Besuchern und Ziel 5 %. Wie hoch die Fehlerquote beim Reinschauen genau wird, hängt immer davon ab, wie oft du schaust. Die Richtung ist in jeder Simulation dieselbe.
Was sequenzielles Testen kostet
Umsonst ist die Freiheit nicht. Weil der Test jederzeit gültig sein muss, sind seine Spannen breiter. GrowthBook schreibt, die Intervalle seien durchweg breiter als im klassischen Test.
Case A · Amplitude-Simulation
100 A/A-Tests mit Dauer-Peeking
30–50 %
Fehlalarme klassisch
rund 5 %
Fehlalarme sequenziell
Sequenziell hält die Fehlerquote auch bei ständigem Hinsehen
Simulation aus der Doku von Amplitude Experiment, Signifikanzniveau 5 %.
Case B · Spotify-Vergleich
Teststärke je nach Verfahren
0,90
Power mit wenigen geplanten Blicken
0,67–0,77
Power mit beliebig vielen Blicken
Wer beliebig oft schauen will, findet echte Effekte seltener
Spotify Engineering 2023, Simulation bei einem kleinen Effekt. Spotify selbst nutzt Tests mit wenigen geplanten Zwischenauswertungen.
Häufige Fehler
Fehler 1 · Klassischer Test, täglicher Blick
Der teuerste Fehler überhaupt. Wenn du täglich schauen willst, schalt den sequenziellen Modus ein. Wenn dein Tool ihn nicht hat: Stichprobe vorher festlegen und erst am Ende auswerten.
Fehler 2 · Frühen Gewinner für genau halten
Ein früh signifikantes Ergebnis zeigt, dass es einen Unterschied gibt. Wie groß er ist, bleibt unsicher. Statsig rät, für eine verlässliche Effektgröße bis zur geplanten Stichprobe zu warten.
Fehler 3 · Verzögerte Conversions ignorieren
Kaufen deine Kunden erst Tage nach dem ersten Besuch, sieht ein früher Stopp nur die Schnellentschlossenen. Amplitude empfiehlt, mindestens die übliche Zeit bis zur Conversion abzuwarten. Und lass Tests immer volle Wochen laufen, sonst verzerren Wochentage das Bild.
Fehler 4 · Einstellungen mitten im Test ändern
GrowthBook arbeitet mit einem Abstimmungswert für die erwartete Stichprobe, der während des Tests fest bleiben muss. Wer ihn unterwegs anpasst, macht die Garantie kaputt.
Welche Tools sequenziell testen
- Optimizely: Stats Engine, immer sequenziell, kombiniert mit Kontrolle der False Discovery Rate.
- Statsig: sequenzieller Test zuschaltbar, nur im frequentistischen Modus.
- Amplitude Experiment: sequenziell in allen Tarifen, Ergebnisse ab 25 Conversions je Variante.
- GrowthBook: ab dem Pro-Tarif, nur in der frequentistischen Engine.
- Eppo: mit sogenannten Konfidenzsequenzen.
Häufige Fragen
Darf ich mir meinen A/B-Test zwischendurch ansehen?
Ansehen ja, entscheiden nur mit sequenziellem Test. Bei einem klassischen Test steigen die Fehlalarme mit jedem Blick, nach dem du handelst.
Was ist das Peeking-Problem?
Wer einen klassischen Test immer wieder auswertet und beim ersten signifikanten Ergebnis stoppt, findet viel öfter falsche Gewinner als geplant. Sequenzielle Verfahren lösen genau dieses Problem.
Brauche ich trotzdem eine Stichprobengröße?
Ja, als Plan. Manche Tools wie GrowthBook brauchen sie sogar als Abstimmungswert. Sequenziell gibt dir nur die Freiheit, früher zu stoppen, wenn das Ergebnis eindeutig ist.
Warum sind die Intervalle breiter?
Weil sie zu jedem Zeitpunkt gültig sein müssen, nicht nur am Ende. Dieser Sicherheitsaufschlag kostet etwas Teststärke.
Sequenziell oder bayessch?
Beides sind Wege, mit Zwischenblicken umzugehen. Sequenzielle Tests bleiben in der klassischen Statistik und garantieren die Fehlerquote. Bayessche Tests sind nicht automatisch immun gegen Peeking. Entscheidend ist, dass dein Tool sauber damit umgeht.
