Was ist statistische Signifikanz?
Du testest zwei Varianten deiner Landingpage. Variante B liegt nach einer Woche vorne. Super — oder Zufall? Genau diese Frage beantwortet die statistische Signifikanz.
Die Logik dahinter klingt erst mal verdreht. Der Test geht davon aus, dass es keinen Unterschied gibt (das ist die Nullhypothese). Dann prüft er, wie ungewöhnlich deine Messung unter dieser Annahme wäre. Ist sie ungewöhnlich genug, verwirft er die Annahme. Das Ergebnis heißt dann signifikant.
Wie ungewöhnlich, sagt der p-Wert. Liegt er unter einer vorher festgelegten Schwelle, meist 0,05, ist das Ergebnis signifikant. Das entspricht den bekannten 95 % Konfidenz.
Wie viele Besucher braucht ein Test?
Mehr, als die meisten denken. Für eine schnelle Planung gibt es eine bewährte Faustformel. Sie stammt von dem Statistiker Robert Lehr (1992) und steht auch in Microsofts viel zitiertem Leitfaden zu Online-Experimenten von Kohavi und Kollegen (2009).
Faustformel je Variante
n ≈ 16 × p × (1 − p) ÷ (Unterschied)²
Beispiel: Shop mit 3,0 %, du willst 3,6 % erkennen. p ist das Mittel beider Raten (0,033), der Unterschied 0,006 → n ≈ 16 × 0,033 × 0,967 ÷ 0,000036 ≈ 14.200 Besucher je Variante
Die Formel gilt für zwei gleich große Varianten, 95 % Konfidenz (zweiseitig) und 80 % Power. Power ist die Chance, einen echten Effekt auch zu entdecken. Willst du 90 % Power, rechnest du mit 21 statt 16.
Der Haken steckt im Quadrat: Halbierst du den Unterschied, den du erkennen willst, brauchst du die vierfache Stichprobe. Kohavi rechnet es vor: Bei 5 % Conversion Rate braucht ein Test für einen relativen Effekt von 5 % rund 122.000 Nutzer je Variante, für 20 % nur 7.600.
Beispiele aus der Praxis
Fall A · Kleiner Effekt
Shop mit 5 % Conversion Rate
122.000
Nutzer je Variante für +5 %
7.600
Nutzer je Variante für +20 %
Viermal größerer Effekt → rund 16-mal kleinere Stichprobe
Rechenbeispiel aus Kohavi u. a. (2009). Kleine Shops sollten deshalb mutige Änderungen testen, nicht Button-Farben.
Fall B · Ständiges Nachschauen
A/A-Tests ohne echten Unterschied
5 %
Fehlalarme geplant
26 %
Fehlalarme beim Blick alle 500 Besucher
Fünfmal mehr falsche Gewinner
Simulation von Optimizely (2015) mit Tests über je 5.000 Besucher. Wer nach jedem Besucher schaut, landet bei 57 %.
Häufige Fehler
Fehler 1 · Beim ersten grünen Wert stoppen
Das heißt „Peeking“: Du schaust täglich rein und beendest den Test, sobald 95 % erscheinen. Zufallsschwankungen springen aber zwischendurch immer mal über die Schwelle. Leg die Stichprobe vorher fest und halt dich dran — oder nutz ein Tool mit sequenziellem Verfahren, das ständiges Nachschauen einrechnet.
Fehler 2 · Zu kleine Tests fahren
Kohavi nennt es einen häufigen Fehler: Tests mit zu wenig Power. Dann heißt „kein signifikanter Unterschied“ oft nur, dass der Test zu klein war, um ihn zu sehen. Erst rechnen, dann starten.
Fehler 3 · Zwanzig Kennzahlen gleichzeitig prüfen
Bei 95 % Konfidenz liefert jede zwanzigste Kennzahl im Schnitt einen Zufallstreffer. Wer nach dem Test alle Metriken durchsucht, findet garantiert einen „Gewinner“. Leg vorher eine Hauptkennzahl fest.
Fehler 4 · Signifikant mit wichtig verwechseln
Mit genug Traffic wird auch ein Plus von 0,1 % signifikant. Lohnt sich die Umsetzung trotzdem? Das ist eine Geschäftsfrage, keine statistische. Schau immer auf die Größe des Effekts in Euro.
So testest du sauber
- Hauptkennzahl festlegen, bevor der Test startet.
- Kleinsten relevanten Effekt bestimmen — was müsste B bringen, damit sich die Umsetzung lohnt?
- Stichprobe ausrechnen und mit deinem Traffic in Wochen umrechnen.
- Laufzeit einhalten, in ganzen Wochen, ohne Abbruch beim ersten Grün.
- Ergebnis mit Spanne berichten, nicht nur mit „signifikant ja/nein“.
Häufige Fragen
Was bedeutet 95 % Signifikanz im A/B-Test?
Gäbe es in Wahrheit keinen Unterschied, würde ein so deutliches Ergebnis nur in etwa 5 % der Fälle zufällig auftreten. Es heißt nicht, dass B mit 95 % Wahrscheinlichkeit besser ist.
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von deiner Conversion Rate und dem Effekt ab, den du erkennen willst. Faustformel je Variante: 16 × p × (1 − p) ÷ Unterschied². Bei 3 % auf 3,6 % sind das rund 14.200 Besucher je Variante.
Darf ich einen Test beenden, sobald er signifikant ist?
Nein, nicht bei klassischen Tests. Wer ständig nachschaut und beim ersten Grün stoppt, produziert viele falsche Gewinner. Leg die Stichprobe vorher fest oder nutz ein Tool mit sequenziellem Verfahren.
Was ist der Unterschied zwischen Signifikanz und Relevanz?
Signifikanz sagt, ob ein Effekt wahrscheinlich echt ist. Relevanz sagt, ob er sich lohnt. Ein winziger, aber signifikanter Effekt kann wirtschaftlich bedeutungslos sein.
Wie lange sollte ein A/B-Test laufen?
Bis die vorher berechnete Stichprobe erreicht ist, mindestens aber ein bis zwei Wochen und immer in ganzen Wochen. So gleichen sich Wochentagseffekte aus.
