Was ist statistische Power?
Stell dir vor, deine neue Landingpage ist wirklich 10 % besser. Wie groß ist die Chance, dass dein A/B-Test das auch zeigt? Genau das ist die statistische Power, auf Deutsch Teststärke.
Ein Test kann auf zwei Arten danebenliegen:
- Fehler 1. Art: Er meldet einen Gewinner, obwohl es keinen gibt (Fehlalarm). Dagegen schützt das Signifikanzniveau, meist 5 %.
- Fehler 2. Art: Er übersieht einen echten Gewinner. Dagegen schützt die Power.
Power ist also die Gegenwahrscheinlichkeit zum Fehler 2. Art. Bei 80 % Power erkennt dein Test einen echten Effekt der geplanten Größe in vier von fünf Fällen — und übersieht ihn in einem.
Wovon die Power abhängt
Vier Größen hängen zusammen: Power, Signifikanzniveau, Besucherzahl und der kleinste Unterschied, den du erkennen willst (englisch Minimum Detectable Effect, kurz MDE). Legst du drei fest, ergibt sich die vierte.
Faustformel (80 % Power, 5 % Signifikanz)
Besucher je Variante ≈ 16 × p × (1 − p) ÷ Unterschied²
Beispiel: 2,0 % → 2,2 % (p ≈ 0,021, Unterschied 0,002) → rund 80.000 Besucher je Variante
Die Zahlen für den Rechner findest du so:
- Conversion Rate heute: aus GA4 oder deinem Shop-Backend, Durchschnitt der letzten Wochen.
- Ziel-Rate: der kleinste Sprung, der sich für dich wirtschaftlich lohnen würde — nicht der, den du dir erhoffst.
Die wichtigste Regel steckt im Quadrat: Halbierst du den gesuchten Unterschied, brauchst du rund viermal so viele Besucher. Und je niedriger deine Conversion Rate, desto mehr Traffic brauchst du für denselben relativen Sprung.
Beispiele aus der Praxis
Case A · Onlineshop
2 % Conversion Rate, 20.000 Besucher im Monat
161.000
Besucher für +10 %
42.000
Besucher für +20 %
+10 % nachweisen dauert rund 8 Monate, +20 % rund 2 Monate
Gerechnet mit der Standardformel, beide Varianten zusammen. Kleine Verbesserungen sind für kleine Shops kaum testbar.
Case B · Zu kleiner Test
10.000 Besucher je Variante, echter Effekt +10 %
17 %
Power
×2,5
überschätzter Gewinn
Wird der Test trotzdem signifikant, zeigt er im Schnitt rund +25 % statt +10 %
Eigene Rechnung nach der Methode von Gelman und Carlin. Kleine Tests produzieren aufgeblasene Gewinner.
Häufige Fehler
Fehler 1 · Ohne Power-Rechnung starten
Wer einfach loslegt und beim ersten signifikanten Ergebnis stoppt, hat weder Power noch Signifikanz im Griff. Rechne vorher aus, wie viele Besucher du brauchst — und lass den Test so lange laufen.
Fehler 2 · „Nicht signifikant“ als „wirkt nicht“ lesen
Bei niedriger Power übersiehst du echte Effekte reihenweise. Mit 10.000 Besuchern je Variante und 17 % Power wird ein echtes Plus von 10 % in mehr als vier von fünf Tests übersehen. Die Idee war vielleicht gut, der Test nur zu klein.
Fehler 3 · Gewinner aus kleinen Tests für bare Münze nehmen
Ronny Kohavi und Kollegen (früher Microsoft, Airbnb, Booking.com) rechnen vor: Bei 20 % Power ist mehr als die Hälfte der signifikanten Gewinner falsch (52,9 %), bei 80 % sind es 22 % — vorausgesetzt, wie bei großen Testplattformen gewinnt nur jede zehnte Idee wirklich. Ein Extremfall aus ihrem Paper: ein Test mit rund 80 Nutzern je Variante und etwa 3 % Power meldete über 300 % Plus.
Fehler 4 · Power hinterher ausrechnen
Viele Tools zeigen eine „beobachtete Power“ nach dem Test. Die hängt nur am p-Wert und sagt nichts Neues. In Kohavis Beispiel zeigte sie 74 %, obwohl die echte Power vorab bei 3 % lag.
Was du daraus machst
- Erst rechnen, dann testen: Mit dem Rechner oben oder dem Sample-Size-Rechner von Evan Miller.
- Größer denken: Bei wenig Traffic lieber mutige Änderungen testen (neues Angebot, neue Seite) statt Button-Farben.
- Relativ und absolut auseinanderhalten: +10 % bei 2 % Conversion Rate sind 0,2 Prozentpunkte, nicht 10.
- Tool verstehen: Optimizely testet sequenziell, VWO arbeitet bayessch — dort heißt „Power“ oft etwas anderes als im klassischen Test.
Häufige Fragen
Was ist eine gute statistische Power?
80 % sind der Standard, für wichtige Entscheidungen 90 %. Darunter steigt das Risiko, echte Effekte zu übersehen und zufällige Ausreißer für Gewinner zu halten, deutlich.
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von deiner Conversion Rate und dem gesuchten Unterschied ab. Bei 2 % Conversion Rate brauchst du für +10 % rund 80.000 Besucher je Variante, für +20 % rund 21.000. Der Rechner auf dieser Seite gibt dir die Zahl für deine Werte.
Was ist der Unterschied zwischen Power und Signifikanz?
Die Signifikanz schützt vor Fehlalarmen, also Gewinnern, die keine sind. Die Power schützt davor, echte Gewinner zu übersehen. Üblich sind 5 % Signifikanzniveau und 80 % Power.
Was passiert, wenn mein Test zu wenig Power hat?
Du übersiehst echte Verbesserungen häufig. Und wenn doch etwas signifikant wird, ist der gemessene Gewinn meist deutlich überschätzt — bei sehr niedriger Power ist sogar jeder zweite Gewinner falsch.
Kann ich die Power nach dem Test berechnen?
Technisch ja, sinnvoll ist es nicht. Die nachträgliche „beobachtete Power“ folgt direkt aus dem p-Wert und bringt keine neue Information. Plane die Power vor dem Start.
