Was ist ein Glaubwürdigkeitsintervall?
Dein A/B-Testtool sagt: Variante B bringt +4 % Conversions, „Worst Case“ −1 %, „Best Case“ +9 %. Was heißt das jetzt? Diese Spanne ist ein Glaubwürdigkeitsintervall — der Bereich, in dem der wahre Wert mit einer genannten Wahrscheinlichkeit liegt.
Spotify beschreibt es in seiner Testplattform Confidence so: eine Spanne, die nach den Daten und der Vorannahme den wahren Effekt mit einer angegebenen Wahrscheinlichkeit enthält. Die Vorannahme heißt Prior. Sie beschreibt, was du vor dem Test für plausibel hältst.
Wie es zustande kommt
Bayessche Tools rechnen nicht mit einem einzelnen Wert, sondern mit einer ganzen Verteilung möglicher Werte (Fachwort: Posterior). Aus dieser Verteilung schneiden sie den mittleren Teil heraus:
- Gleichseitig: unten 2,5 % weg, oben 2,5 % weg, die mittleren 95 % bleiben. So rechnet GrowthBook.
- Höchste Dichte (HDI): der schmalste Bereich, der 95 % der Wahrscheinlichkeit abdeckt. So beschreibt es das Glossar von Wingify.
Die Breite hängt von deinen Daten ab. Wingify zeigt das an einem schönen Beispiel: 7 Conversions bei 100 Besuchern und 700 bei 10.000 Besuchern ergeben beide 7 %. Das Intervall der kleinen Stichprobe ist aber viel breiter — du weißt schlicht weniger.
Was die Tools zeigen
Jedes Tool nennt das Intervall anders und wählt eine andere Breite. Das macht Vergleiche schwierig:
Tool
Breite
Wingify (ehemals VWO)
99 %, je nach Bericht auch 80 %
GrowthBook
95 %
AB Tasty
95 %
LaunchDarkly
einstellbar
Bei gleichen Daten ist ein 99-%-Intervall breiter als ein 95-%-Intervall. Dazu kommt ein Namenssalat: AB Tasty schreibt „Confidence interval“, GrowthBook setzt „confidence interval“ in Anführungszeichen — beide rechnen aber bayessch. Wingify spricht von „Best Case“ und „Worst Case“.
Beispiele aus der Praxis
Case A · Gleiche Rate, andere Sicherheit
Kleiner gegen großer Test
7 / 100
Conversions / Besucher
700 / 10.000
Conversions / Besucher
Beide Male 7 % — aber das Intervall der kleinen Stichprobe ist viel breiter
Beispiel aus der Wingify-Hilfe. Die Rate allein verrät nicht, wie sicher sie ist.
Case B · Entscheidung mit Spanne
Wahrscheinlichkeit plus Risiko
96 %
Chance, besser zu sein
0,5 %
erwarteter Verlust
Wahrscheinlich besser, und wenn nicht, kostet es wenig
Beispiel aus der LaunchDarkly-Doku. Intervall, Siegchance und erwarteter Verlust zusammen ergeben die Entscheidung.
Häufige Fehler
Fehler 1 · „Bayessch, also darf ich jederzeit stoppen“
Stimmt nicht. GrowthBook schreibt selbst, dass auch bayessche Tests unter Peeking leiden und frühes Stoppen die Fehlalarme erhöht. Spotify ergänzt: Ein Intervall, das zu einem frei gewählten Stopp-Zeitpunkt berechnet wird, trifft den wahren Wert nicht mehr mit 95 %.
Fehler 2 · Konfidenz- und Glaubwürdigkeitsintervall gleichsetzen
Die Zahlen sehen ähnlich aus, die Aussage ist eine andere. Und weil Tools die Namen mischen, hilft nur: in der Hilfe nachlesen, wie dein Tool rechnet.
Fehler 3 · Den Prior übersehen
Spotify bringt es auf den Punkt: Der Prior ist kein technisches Detail. Eine Vorannahme, die nicht zu deinem Geschäft passt, ist schlechter als gar keine. Die meisten Tools starten deshalb mit einem neutralen Prior, der die Daten kaum beeinflusst.
Fehler 4 · Intervalle verschiedener Tools vergleichen
„Bei Tool A war der Worst Case besser als bei Tool B.“ Kein Wunder, wenn das eine 95 % und das andere 99 % zeigt. Vergleich nur, was gleich gerechnet ist.
So liest du das Intervall
- Liegt das ganze Intervall über null? Dann ist die Variante mit hoher Wahrscheinlichkeit besser.
- Reicht es weit ins Minus? Dann ist das Risiko echt, auch wenn der Mittelwert gut aussieht.
- Ist es sehr breit? Dann fehlen Daten. Test weiterlaufen lassen statt entscheiden.
- Schwelle vorher festlegen: AB Tasty und GrowthBook nennen 95 % Siegchance als Faustregel.
Häufige Fragen
Was ist der Unterschied zwischen Glaubwürdigkeitsintervall und Konfidenzintervall?
Das Glaubwürdigkeitsintervall stammt aus der bayesschen Statistik und sagt direkt, mit welcher Wahrscheinlichkeit der wahre Wert darin liegt. Das Konfidenzintervall stammt aus der klassischen Statistik: Seine 95 % beschreiben, wie oft das Verfahren bei vielen Wiederholungen den wahren Wert einfängt.
Warum zeigt Wingify 99 % und GrowthBook 95 %?
Die Anbieter wählen unterschiedliche Breiten. Ein 99-%-Intervall ist bei gleichen Daten breiter und vorsichtiger. Vergleiche deshalb nie Intervalle aus verschiedenen Tools miteinander.
Darf ich einen bayesschen A/B-Test früher beenden?
Nicht beliebig. Auch bayessche Tests erzeugen mehr Fehlalarme, wenn du so lange schaust, bis dir das Ergebnis gefällt. Leg Laufzeit oder Stichprobe vorher fest.
Was bedeuten Best Case und Worst Case im Testbericht?
Das sind die obere und die untere Grenze des Glaubwürdigkeitsintervalls. Dazwischen liegt der wahre Wert mit der Wahrscheinlichkeit, die dein Tool dafür ansetzt.
Was ist ein Prior?
Die Vorannahme, mit der die bayessche Rechnung startet. Ein neutraler Prior lässt die Daten sprechen, ein informativer bringt Wissen aus früheren Tests ein — und kann das Ergebnis verzerren, wenn er nicht passt.
