Was ist der Minimum Detectable Effect?
Du willst testen, ob ein neuer Button mehr Käufe bringt. Bevor du startest, solltest du eine Frage beantworten: Wie klein darf der Unterschied sein, den der Test noch finden soll? Diese Grenze heißt Minimum Detectable Effect, kurz MDE.
Optimizely beschreibt ihn als die kleinste Verbesserung, die du erkennen willst. Alles, was kleiner ist, rauscht durch dein Messnetz. Ein Test mit 20 % MDE findet einen echten Gewinn von 5 % also nur selten — selbst wenn es ihn gibt.
Der MDE hängt mit drei anderen Größen zusammen:
- Signifikanzniveau: meist 5 %, schützt vor Fehlalarmen.
- Statistische Power: meist 80 %, die Chance, einen Effekt in Höhe des MDE zu finden.
- Besucherzahl: je mehr, desto kleiner der MDE.
Wie wird der MDE berechnet?
Meist rechnest du andersherum: Du legst den MDE fest und bekommst die nötige Besucherzahl. Für 5 % Signifikanz und 80 % Power gibt es eine bewährte Faustregel.
Faustregel (95 % Signifikanz, 80 % Power)
Besucher je Variante ≈ 16 × p × (1 − p) ÷ MDE²
Beispiel: 2,0 % → 2,4 % (MDE 0,4 Prozentpunkte, p ≈ 0,022) → rund 21.000 Besucher je Variante
Die Zahlen für den Rechner findest du so:
- Conversion Rate heute: aus Google Analytics 4 oder deinem Shop, Durchschnitt der letzten Wochen.
- Ziel-Rate: heutige Rate plus der kleinste Sprung, der sich wirtschaftlich lohnt.
Die wichtigste Regel steckt im Quadrat: Für einen halb so großen MDE brauchst du viermal so viele Besucher. Das zeigt auch die Tabelle von Optimizely für eine Conversion Rate von 10 %:
MDE (relativ)
Besucher je Variante
10 %
12.243
5 %
59.401
3 %
185.661
Beispiele aus der Praxis
Case A · Kleiner Onlineshop
2 % Conversion Rate, 5.000 Besucher im Monat
20 %
MDE (2,0 → 2,4 %)
≈ 42.000
Besucher gesamt
Der Test dauert gut 8 Monate
Eigene Rechnung mit der Faustregel. Kleinere Verbesserungen sind bei diesem Traffic praktisch nicht testbar.
Case B · Wenig Traffic
Beispiel aus der GrowthBook-Doku
34,5 %
MDE nach Woche 1
Woche 3
80 % Power für +20 %
Rund 2.200 Nutzer pro Woche, Conversion Rate 14,4 %
Nach einer Woche erkennt der Test nur große Sprünge. Für +20 % braucht er drei Wochen.
Häufige Fehler
Fehler 1 · Relativ und absolut verwechseln
Ein MDE von „2 %“ kann 2 Prozentpunkte oder 2 % der Ausgangsrate heißen. Bei 3 % Conversion Rate liegt die nötige Besucherzahl dazwischen um mehr als das Tausendfache auseinander. Schreib deshalb immer die Zielrate dazu.
Fehler 2 · MDE mit dem erwarteten Effekt verwechseln
Der MDE ist eine Planungsschwelle, keine Prognose. Statsig sagt es klar: Er sagt nicht voraus, was der Test zeigen wird. Setz ihn auf den kleinsten Gewinn, der sich für dich lohnt — nicht auf den, den du dir erhoffst.
Fehler 3 · Mit viel zu großem MDE testen
In einer Auswertung von 115 öffentlichen Tests durch Analytics-Toolkit hatten 70 % zu wenig Power. Der MDE lag im Median bei rund 21 %, die echten Effekte eher um 4 %. Solche Tests übersehen fast alles — und wenn sie doch „gewinnen“, überschätzen sie den Effekt.
Fehler 4 · Zwischendurch stoppen
Die Besucherzahl aus der MDE-Rechnung gilt nur, wenn du am Ende einmal auswertest. Wer täglich schaut und beim ersten Signal stoppt, treibt die Fehlalarme hoch. Evan Miller zeigt in einer Simulation 26,1 % statt 5 %.
Was du daraus machst
- Erst rechnen, dann testen: MDE festlegen, Besucherzahl ausrechnen, Laufzeit auf volle Wochen aufrunden.
- Größer denken: Bei wenig Traffic mutige Änderungen testen, die 20 % und mehr bringen können.
- Weiter oben messen: Klicks auf „In den Warenkorb“ passieren öfter als Käufe — der MDE wird dort kleiner.
- Ehrlich bleiben: Reicht der Traffic nicht, lieber Usability-Tests oder Befragungen statt eines Tests, der nie fertig wird.
Häufige Fragen
Was ist ein guter MDE für einen A/B-Test?
Es gibt keinen festen Wert. Er sollte dem kleinsten Gewinn entsprechen, der sich wirtschaftlich lohnt, und zu deinem Traffic passen. In einer Auswertung von 1.001 Tests bei Analytics-Toolkit lag der MDE im Median bei 6 % — mit oft Zehntausenden Nutzern je Test.
Ist der MDE relativ oder absolut angegeben?
Das hängt vom Tool ab. Optimizely und GrowthBook rechnen relativ zur Ausgangsrate, Google Ads Brand Lift absolut in Prozentpunkten. Evan Millers Rechner lässt dich wählen. Schreib immer die Zielrate dazu, dann ist es eindeutig.
Wie berechne ich die nötige Stichprobe?
Mit der Faustregel 16 × p × (1 − p) ÷ MDE² je Variante, p als Anteil und MDE als absolute Differenz. Oder mit dem Rechner auf dieser Seite. Bei 2 % Conversion Rate und Ziel 2,4 % sind das rund 21.000 Besucher je Variante.
Was tun bei zu wenig Traffic?
Größere Änderungen testen, auf eine häufigere Aktion weiter oben im Funnel messen oder länger laufen lassen. Bleibt der MDE trotzdem bei 30 % und mehr, sind qualitative Methoden wie Usability-Tests meist der bessere Weg.
Was ist der Unterschied zwischen MDE und Signifikanz?
Die Signifikanz schützt vor falschen Gewinnern. Der MDE legt zusammen mit der Power fest, welche echten Effekte dein Test überhaupt findet. Beide gehören in die Planung vor dem Start.
