Was ist Bayessche Statistik?
Dein A/B-Test-Tool meldet: „Variante B hat 94 % Chance to Win.“ Das klingt eindeutig. Hinter dieser Zahl steckt die Bayessche Statistik — und die arbeitet anders als der klassische Test mit p-Wert.
Benannt ist sie nach Thomas Bayes, einem britischen Geistlichen. Sein Aufsatz wurde nach seinem Tod 1763 vorgelesen und 1764 gedruckt. Die Idee: Du startest mit einer Einschätzung und passt sie an, sobald neue Daten kommen. So wie ein Navigator, der seinen Kurs korrigiert, wenn ein Leuchtturm auftaucht.
- Prior: deine Vorannahme, bevor du misst. Zum Beispiel: Die meisten Änderungen bewegen wenig.
- Likelihood: wie gut die gemessenen Daten zu einer Annahme passen.
- Posterior: die neue Einschätzung, nachdem Prior und Daten verrechnet sind.
Wie rechnet Bayes?
Satz von Bayes, Kurzform
Posterior ∝ Likelihood × Prior
Im A/B-Test: Startannahme über die Conversion Rate + gemessene Käufe → Verteilung der wahrscheinlichen Conversion Rates von A und B
Das Tool vergleicht dann die beiden Verteilungen. VWO zieht dafür bis zu sieben Millionen Stichproben daraus und zählt, wie oft B vorne liegt. Für Conversion Rates nutzt Optimizely eine Beta-Verteilung als Prior.
Diese Kennzahlen zeigen dir die Tools:
Kennzahl
Bedeutung
Chance to Win
Wie wahrscheinlich B besser ist als A
Probability to Be Best
Bei mehreren Varianten: Wie wahrscheinlich diese die beste ist
Expected Loss
Was du verlierst, wenn du falsch ausrollst
Credible Interval
Bereich, in dem der Effekt wahrscheinlich liegt
Übliche Schwellen: GrowthBook und VWO warten meist auf 95 % Chance to Win. VWO verlangt zusätzlich mindestens 25 Conversions je Variante, 1.500 Besucher und eine Woche Laufzeit.
Wo Bayes im Marketing steckt
- A/B-Tests: GrowthBook nutzt Bayes als Standard, VWO mit SmartStats, LaunchDarkly und Optimizely Feature Experimentation zur Wahl. Google Optimize arbeitete ähnlich, ist aber seit 30. September 2023 eingestellt.
- Marketing-Mix-Modellierung: Googles Open-Source-Modell Meridian ist bayessch. Geschäftswissen fließt als Prior ein, heraus kommen Verteilungen statt Einzelwerte.
- Python: PyMC-Marketing bietet bayessche Modelle für Mix-Modelle und Customer Lifetime Value.
Nicht alles, was nach Bayes klingt, ist Bayes. Metas Mix-Modell Robyn arbeitet mit Ridge-Regression und nutzt Testergebnisse nur zur Kalibrierung.
Häufige Fehler
Fehler 1 · „Bei Bayes darf ich jederzeit stoppen“
Das ist der hartnäckigste Mythos. GrowthBook schreibt selbst, dass auch Bayes-Tests unter frühem Stoppen leiden: Die Fehlalarme steigen. Gültig ist laufendes Beobachten nur mit sauberen Stoppregeln, wie Fachartikel zeigen. Plan die Laufzeit vorher.
Fehler 2 · „Bayes braucht keine Mindeststichprobe“
Die Tools sehen das anders. VWO erklärt keinen Gewinner unter 1.500 Besuchern und einer Woche. Und zu Testbeginn reicht der Bereich für die Conversion Rate dort von 0 bis 100 %. Ohne Daten weiß auch Bayes nichts.
Fehler 3 · Chance to Win mit Effektgröße verwechseln
95 % Chance to Win heißt nicht 95 % mehr Umsatz. Es heißt nur: B ist sehr wahrscheinlich irgendwie besser, vielleicht um 0,3 %. Deshalb zeigen VWO und LaunchDarkly zusätzlich den Expected Loss. Schau beide an.
Fehler 4 · 50 % im A/A-Test für einen Fehler halten
Testest du zwei identische Seiten, pendelt die Chance to Win um 50 %, nicht um 0. In einer Auswertung von 60 A/A-Tests mit Google Optimize lag sie im Schnitt bei 48 %. Das ist kein Bug, das ist Mathematik.
Was du daraus machst
- Tool kennen: Schau nach, ob dein Testing-Tool bayessch oder klassisch rechnet. Die Zahlen bedeuten jeweils etwas anderes.
- Zwei Werte lesen: Chance to Win sagt „ob“, Expected Loss und das Intervall sagen „wie viel“.
- Laufzeit planen: Mindestens eine volle Woche, Besucherzahl vorher abschätzen — wie beim klassischen Test.
- Prior nicht verbiegen: Ein starker Prior verschiebt das Ergebnis. Lass die Voreinstellung, wenn du nicht genau weißt, was du tust.
Häufige Fragen
Was ist der Unterschied zwischen bayesschen und klassischen A/B-Tests?
Der klassische Test liefert einen p-Wert: Wie überraschend wären die Daten ohne echten Unterschied? Bayes liefert direkt eine Wahrscheinlichkeit, dass B besser ist als A. Beides beruht auf denselben Daten, die Antwort ist nur anders formuliert.
Was bedeutet „95 % Chance to Win“?
Unter den Annahmen des Modells ist Variante B mit 95 % Wahrscheinlichkeit besser als A. Wie viel besser, sagt die Zahl nicht. Dafür schaust du auf das Intervall oder den Expected Loss.
Darf ich einen Bayes-Test früher beenden?
Nur mit einer vorab festgelegten Stoppregel. Wer einfach beim ersten schönen Wert aufhört, bekommt auch bei Bayes mehr falsche Gewinner. Mindestens eine volle Woche laufen lassen ist eine gute Grundregel.
Was ist ein Prior, und welchen soll ich wählen?
Der Prior ist deine Vorannahme vor dem Test. Die meisten Tools nutzen einen schwachen oder neutralen Prior, der das Ergebnis kaum beeinflusst. GrowthBook bietet optional einen Prior an, nach dem zwei Drittel aller Tests zwischen −30 % und +30 % liegen.
Brauche ich mit Bayes weniger Traffic?
Nicht grundsätzlich. Die Aussage wird verständlicher, aber nicht genauer, wenn die Daten fehlen. Für kleine Effekte brauchst du auch mit Bayes viele Besucher.
