Was ist ein Konfidenzintervall?
Dein Shop hatte diesen Monat eine Conversion Rate von 2 %. Ist das die „echte“ Rate deiner Besucher? Nicht ganz. Es ist eine Messung an einer Stichprobe, und die schwankt. Das Konfidenzintervall sagt dir, wie weit.
Es ist ein Bereich um deinen Messwert, zum Beispiel 1,1 % bis 2,9 %. Der wahre Wert liegt vermutlich irgendwo darin. Wie breit der Bereich ist, verrät die Genauigkeit: schmal heißt belastbar, breit heißt „viel Zufall dabei“.
Dazu gehört immer ein Konfidenzniveau, meist 95 %. Das ist die Einstellung, das Intervall ist das Ergebnis.
Wie wird es berechnet?
Die Grundform ist immer gleich: Messwert plus und minus eine Fehlerspanne. Für eine Rate wie die Conversion Rate sieht das so aus:
Konfidenzintervall für einen Anteil (95 %)
p ± 1,96 × √( p × (1 − p) ÷ n )
Beispiel: 20 Käufe bei 1.000 Besuchern → p = 0,02 → 2 % ± 0,9 Prozentpunkte → 1,1 % bis 2,9 %
Dabei ist p deine gemessene Rate und n die Zahl der Besucher. Die 1,96 gehört zum Niveau 95 %. Excel und Google Sheets rechnen die Fehlerspanne für Mittelwerte mit KONFIDENZ.NORM aus.
Die wichtigste Regel steckt in der Wurzel: Für ein halb so breites Intervall brauchst du viermal so viele Besucher.
Beispiele aus der Praxis
Case A · Onlineshop
2 % Conversion Rate, unterschiedlich viele Besucher
1,1–2,9 %
bei 1.000 Besuchern
1,7–2,3 %
bei 10.000 Besuchern
Zehnmal mehr Besucher machen das Intervall gut dreimal schmaler
Eigene Rechnung mit der Formel oben, 95 %. Kleine Shops müssen Schwankungen von Monat zu Monat aushalten.
Case B · A/B-Test
Zwei Ergebnisse aus der Optimizely-Doku
+77,6 bis +105,2 %
Variante 1
−20,2 bis +22,1 %
Variante 2
Variante 1 gewinnt, Variante 2 ist offen — ihr Intervall schließt die Null ein
Liegt die Null im Intervall des Unterschieds, kann es auch gar keinen Effekt geben.
Auch Wahlumfragen arbeiten so. Das Politbarometer befragt rund 1.250 Menschen und nennt bei einem Anteil von 40 % einen Fehlerbereich von etwa ±3 Prozentpunkten. Nach der Formel oben passt das zu einem 95-%-Intervall.
Häufige Fehler
Fehler 1 · Die 95 % falsch lesen
Siehe oben: Die 95 % gehören zum Verfahren, nicht zum einzelnen Bereich. In einer viel zitierten Studie von 2014 hielten Forschende und Studierende im Schnitt mehr als drei von sechs falschen Aussagen über ein Konfidenzintervall für richtig. Du bist also in guter Gesellschaft.
Fehler 2 · „Überlappt, also kein Unterschied“
Zwei Intervalle können sich überschneiden, und der Unterschied ist trotzdem signifikant. Die Fachautoren um Sander Greenland zeigen das an einem Beispiel mit 1,04–4,96 und 4,16–19,84. Prüf deshalb das Intervall des Unterschieds, nicht zwei Einzelintervalle nebeneinander.
Fehler 3 · Das Niveau übersehen
Google Ads stellt bei Experimenten standardmäßig 80 % ein, Optimizely 90 %. Das sind schwächere Belege als bei 95 %. Verwirrend: Die deutsche Google-Ads-Hilfe nennt diese Einstellung selbst „Konfidenzintervall“, gemeint ist das Niveau.
Fehler 4 · Ständig reinschauen
Ein klassisches Intervall gilt, wenn du am Ende einmal auswertest. Wer täglich schaut und beim ersten „Gewinner“ stoppt, produziert Fehlalarme. Optimizely arbeitet deshalb mit sequenziellen Intervallen, die das aushalten.
Was du daraus machst
- Nie eine Zahl ohne Bereich: Frag bei jeder Rate aus kleinen Stichproben, wie breit das Intervall ist.
- Auf die Null achten: Liegt sie im Intervall des Unterschieds, ist der Test nicht entschieden.
- Die Breite lesen: Ein Gewinner mit +2 bis +40 % ist ein Gewinner mit großer Unsicherheit. Plan für die Untergrenze, nicht für die Mitte.
- Vorher rechnen: Mit einem Stichproben-Rechner festlegen, wie viele Besucher nötig sind, bevor du startest.
Häufige Fragen
Was sagt ein 95-%-Konfidenzintervall aus?
Es sagt: Mit diesem Verfahren enthalten auf lange Sicht rund 95 von 100 berechneten Intervallen den wahren Wert. Es sagt nicht, dass dieser eine Bereich den Wert mit 95 % Wahrscheinlichkeit enthält. Praktisch zeigt es, wie genau deine Messung ist.
Was ist der Unterschied zwischen Konfidenzintervall und Konfidenzniveau?
Das Konfidenzniveau ist die Einstellung, zum Beispiel 95 %. Das Konfidenzintervall ist der Bereich, der dabei herauskommt, zum Beispiel 1,1 bis 2,9 %. Höheres Niveau heißt breiteres Intervall.
Was bedeutet es, wenn die Null im Konfidenzintervall liegt?
Beim Unterschied zwischen zwei Varianten heißt das: Es kann auch gar keinen Effekt geben. Der Test ist auf diesem Niveau nicht signifikant. Schließt das Intervall die Null aus, ist er es.
Wie berechne ich ein Konfidenzintervall für meine Conversion Rate?
Nimm die Rate p und die Besucherzahl n. Die Fehlerspanne ist 1,96 × Wurzel aus p × (1 − p) ÷ n. Bei 2 % und 1.000 Besuchern sind das rund 0,9 Prozentpunkte. Bei wenigen Conversions besser einen Rechner mit Wilson-Intervall nutzen.
Warum nutzt Google Ads 80 % statt 95 %?
Damit Experimente schneller zu einem Ergebnis kommen. Der Preis: Du akzeptierst mehr Zufallsgewinner. Du kannst das Niveau in Google Ads selbst höher stellen, brauchst dann aber mehr Daten.
Quellen
- NIST/SEMATECH e-Handbook: Konfidenzgrenzen für den Mittelwert
- NIST/SEMATECH e-Handbook: Konfidenzintervall für Anteile
- Optimizely: Confidence intervals and improvement intervals
- Google Ads-Hilfe: Tests beobachten
- Forschungsgruppe Wahlen: Methodik Politbarometer
- Greenland u. a.: Statistical tests, P values, confidence intervals (2016)
