Was ist CUPED?
Dein A/B-Test braucht sechs Wochen, bis er ein Ergebnis zeigt? Mit CUPED geht es oft schneller — ohne einen einzigen Besucher mehr. Die Abkürzung steht für „Controlled-experiment Using Pre-Experiment Data“: ein kontrolliertes Experiment, das Daten von vor dem Test nutzt.
Die Idee: Ein Teil der Unterschiede zwischen deinen Nutzern hat mit dem Test nichts zu tun. Vielnutzer klicken mehr, Wenignutzer weniger — egal welche Variante sie sehen. Dieses Grundrauschen heißt Streuung (Fachwort: Varianz). CUPED rechnet heraus, was du über jeden Nutzer schon vor dem Test wusstest. Übrig bleibt ein klareres Signal.
Wie funktioniert die Rechnung?
Angepasster Wert je Nutzer
Y angepasst = Y − θ × (X − Durchschnitt von X)
Y = Kennzahl im Test, X = dieselbe Kennzahl vor dem Test, θ = wie stark beide zusammenhängen
θ ist die Steigung einer einfachen Regression von Y auf X und gilt für beide Testgruppen gleich. Entscheidend ist, wie eng Vorher und Nachher zusammenhängen (Korrelation, ρ). Die Streuung sinkt um den Anteil ρ².
Beispiel: Hängen Vorlauf und Testwert mit ρ = 0,7 zusammen, ist ρ² = 0,49. Die Streuung sinkt um rund 49 %. Du brauchst also nur noch gut die Hälfte der Nutzer für dieselbe Teststärke.
Wie viel CUPED bringt
Bei Bing sank die Streuung durch CUPED um rund 50 % — dieselbe Teststärke mit der Hälfte der Nutzer oder der halben Laufzeit. In drei Experimenten waren es 45, 52 und 49 %. Aber nicht bei jeder Kennzahl:
Kennzahl bei Bing
Weniger Streuung
Suchanfragen je Nutzer
über 45 %
nur Einstiegstag
9–10 %
Umsatz je Nutzer
unter 5 %
Beim Umsatz half es kaum, weil der Umsatz vor dem Test wenig über den Umsatz im Test verrät. Microsoft fand auch später starke Schwankungen: Auf einer Produktoberfläche brachte CUPED bei über zwei Dritteln der Kennzahlen fast nichts, auf einer anderen bei über der Hälfte deutlich mehr als 20 % zusätzlichen effektiven Traffic.
Beispiele aus der Praxis
Case A · Bing, Ladezeit-Test
250 ms künstliche Verzögerung
2 Wochen
bis knapp signifikant ohne CUPED
Tag 1
signifikant mit CUPED
Mit zwei Wochen Vorlaufdaten war der Effekt ab dem ersten Tag nachweisbar
Ein späterer Großtest bestätigte den Effekt. Quelle: Deng u. a., WSDM 2013.
Case B · Welche Vorlaufdaten
Gleicher Test, andere Kovariate
über 45 %
mit Vorlauf-Kennzahl
9–10 %
nur mit Einstiegstag
Die beste Vorlaufgröße ist dieselbe Kennzahl von vorher
Beides zusammen brachte nur 2–3 Prozentpunkte mehr als die Vorlauf-Kennzahl allein.
Häufige Fehler
Fehler 1 · Daten aus der Testzeit nehmen
Der Vergleichswert darf nicht vom Test beeinflusst sein. Sonst rechnest du einen Teil des echten Effekts heraus oder drehst ihn um.
Fehler 2 · Wunder bei jeder Kennzahl erwarten
CUPED hilft, wenn Vorher und Nachher eng zusammenhängen. Bei Neukunden ohne Historie, frisch angelegten Kennzahlen oder schwankendem Umsatz bringt es wenig. Optimizely schreibt dazu: Eine neue Kennzahl ohne Historie, dann wirkt CUPED nicht.
Fehler 3 · CUPED mit Ausreißer-Bereinigung verwechseln
CUPED kappt keine Extremwerte und verändert die Daten nicht, nur die Schätzung. Ausreißer begrenzt du zusätzlich, zum Beispiel durch Kappen der höchsten Werte.
Fehler 4 · Bei Conversion-Raten blind einschalten
Ob CUPED bei Ja-Nein-Kennzahlen wie Conversion Rates greift, ist je nach Tool verschieden. Optimizely bietet es nur für numerische Kennzahlen an, PostHog auch für Funnels. Schau in die Hilfe deines Tools.
Wo du CUPED findest
- Statsig: standardmäßig 7 Tage Vorlauf; greift ab über 100 Einheiten mit Vorlaufdaten.
- GrowthBook: standardmäßig 14 Tage Vorlauf, ab dem Pro-Tarif.
- Eppo: erweiterte Variante mit mehreren Vorlaufgrößen, 30 Tage Vorlauf.
- Optimizely: 2 Wochen Vorlauf, nur numerische Kennzahlen.
- PostHog: 14 Tage Vorlauf, einstellbar von 1 bis 30 Tagen.
Häufige Fragen
Wie viel schneller wird mein A/B-Test mit CUPED?
Das hängt davon ab, wie eng deine Kennzahl vor und während des Tests zusammenhängt. Bei Bing halbierte sich die Streuung bei Nutzungskennzahlen, beim Umsatz je Nutzer sank sie um weniger als 5 %.
Wie lang sollte der Vorlaufzeitraum sein?
Die Tools nehmen meist 7 bis 30 Tage. Im Microsoft-Paper brachte ein längerer Vorlauf mehr Wirkung. Zwei Wochen sind ein guter Startwert.
Funktioniert CUPED auch für neue Nutzer?
Nein. Wer vor dem Test noch nicht da war, hat keine Vorlaufdaten. Tools wie Statsig behandeln diese Nutzer als eigene Gruppe, dort wirkt CUPED nicht.
Kann CUPED das Ergebnis verfälschen?
Nicht, solange der Vergleichswert aus der Zeit vor dem Test stammt. Dann verschiebt CUPED den geschätzten Effekt im Mittel nicht, es macht ihn nur genauer.
Lohnt sich CUPED für kleine Websites?
Nur, wenn viele Besucher wiederkommen und du ihre Daten über die Zeit zuordnen kannst. Bei wenig Traffic und vielen Neukunden bringt es wenig.
