Was ist der Winner’s Curse?
Im Test brachte die neue Produktseite +12 % Umsatz. Nach dem Ausrollen sind es noch +3 %. Was ist passiert? Wahrscheinlich nichts Schlimmes — nur der Winner’s Curse, der Fluch des Gewinners.
Jeder Messwert in einem Test enthält Rauschen. Gewinner wird eine Variante, wenn ihr Effekt signifikant ist. Genau diese Auswahl bevorzugt Varianten, bei denen das Rauschen zufällig nach oben ausgeschlagen hat. Gewinner sind deshalb im Schnitt zu groß gemessen. Ron Kohavi und Kollegen beschreiben das 2022 so: Wer mit wenig Power einen Effekt findet, ist mit einem überhöhten Effekt „verflucht“.
Wie stark der Fluch zuschlägt
Wie oft ein „Gewinner“ gar keiner ist, hängt vor allem von zwei Dingen ab: Wie viele deiner Ideen wirklich wirken (Erfolgsquote) und wie gut dein Test echte Effekte erkennt (Power). Kohavi, Deng und Vermeer haben Richtwerte großer Testprogramme gesammelt und das Risiko eines falschen Gewinners ausgerechnet — bei 80 % Power und p kleiner 0,05:
Erfolgsquote
Falsche Gewinner
33 % (Microsoft)
5,9 %
15 % (Bing)
15,0 %
rund 10 % (Booking, Netflix)
22,0 %
8 % (Airbnb-Suche)
26,4 %
Die Autoren nennen die Erfolgsquoten selbst grobe Schätzungen. Die Richtung ist trotzdem klar: Je seltener Ideen wirken, desto mehr Gewinner sind Zufall. Und mit zu kleinen Tests wird es dramatisch: Bei 10 % Erfolgsquote und nur 20 % Power ist mehr als die Hälfte aller signifikanten Ergebnisse falsch (52,9 %).
Beispiele aus der Praxis
Case A · Zu kleiner Test
Öffentlich gefeierter Testgewinner
+300 %
gemessener Uplift
rund 80
Nutzer je Variante
Power vor dem Test rund 3 %, Risiko eines falschen Gewinners mindestens 63 %
Fall von GuessTheTest, nachgerechnet von Kohavi 2022. Für einen sauberen Test wären rund 41.600 Nutzer je Variante nötig gewesen.
Case B · Power zählt
Gleiche Erfolgsquote, anderer Test
22,0 %
falsche Gewinner bei 80 % Power
52,9 %
falsche Gewinner bei 20 % Power
Zu kleine Tests verdoppeln den Anteil der Zufallsgewinner
Richtwerte bei 10 % Erfolgsquote aus Kohavi, Deng, Vermeer (KDD 2022).
Häufige Fehler
Fehler 1 · Uplifts aller Gewinner aufsummieren
Zehn Tests mit je +2 % ergeben keine +20 % im Jahr. Airbnb hat diesen Effekt in einer eigenen Forschungsarbeit beschrieben: Die Summe der Gewinner überschätzt den Gesamteffekt. Wer wissen will, was das Testprogramm wirklich bringt, braucht eine Holdout-Gruppe, die keine Änderungen sieht.
Fehler 2 · Zu kleine Tests laufen lassen
Mit ein paar hundert Besuchern findest du nur riesige Effekte — und die sind meist Zufall. Kohavi rät zu mindestens Tausenden, besser Zehntausenden Nutzern. Je spektakulärer das Ergebnis, desto misstrauischer solltest du sein.
Fehler 3 · Früh stoppen
Wer stoppt, sobald es grün wird, erwischt den Effekt genau auf einem Zufallshoch. Das verstärkt den Fluch zusätzlich.
Fehler 4 · Der nachträglichen Power trauen
Manche Rechner zeigen nach dem Test eine Power an. Im GuessTheTest-Fall stand dort 74 % — geplant hatte der Test aber nur rund 3 %. Die nachträgliche Power täuscht Sicherheit vor. Plan die Power vor dem Start.
So schützt du dich
- Größe planen: Stichprobe mit einem Rechner bestimmen, bevor der Test startet.
- Gewinner abwerten: Rechne in der Planung mit einem kleineren Effekt als im Test gemessen.
- Große Gewinner wiederholen: Ein zweiter Test zeigt, ob der Effekt hält.
- Holdout-Gruppe: Ein kleiner Teil der Besucher sieht über Monate die alte Version. So misst du den echten Gesamteffekt.
Häufige Fragen
Warum hält der Uplift nach dem Rollout nicht?
Weil der Test den Effekt im Schnitt überschätzt hat. Gewinner werden ausgewählt, wenn ihr gemessener Effekt groß genug ist, und das gelingt bevorzugt mit Rückenwind vom Zufall. Nach dem Rollout fällt dieser Rückenwind weg.
Wie groß muss ein A/B-Test sein?
Das hängt von deiner Conversion Rate und dem Effekt ab, den du finden willst. Bei 3,7 % Conversion Rate und gesuchten +10 % braucht es laut Kohavi rund 41.600 Nutzer je Variante. Ein Stichprobenrechner sagt dir die Zahl für deinen Fall.
Was ist eine Holdout-Gruppe?
Ein kleiner Teil deiner Besucher, der neue Änderungen nicht bekommt. Vergleichst du ihn nach einigen Monaten mit allen anderen, siehst du, was deine Gewinner zusammen wirklich gebracht haben.
Hat der Winner’s Curse etwas mit Google Ads zu tun?
In der Auktionstheorie ja: Wer am höchsten bietet, überschätzt oft den Wert. In der Google-Suche zahlst du laut Google aber nur so viel, wie nötig ist, um den Anzeigenrang direkt unter dir zu übertreffen. Das dämpft den Effekt.
Ist ein signifikantes Ergebnis zu 95 % sicher?
Nein. Wie viele Gewinner falsch sind, hängt von Power und Erfolgsquote ab. In großen Testprogrammen liegt der Anteil falscher Gewinner laut Kohavi zwischen rund 6 und 26 %.
