Was ist die False Discovery Rate?
Du testest eine neue Produktseite und schaust auf zehn Metriken: Käufe, Warenkorb, Klicks, Verweildauer … Drei davon werden grün. Super? Vielleicht ist einer der drei reiner Zufall. Die False Discovery Rate (FDR) misst genau diesen Anteil.
Sie ist der erwartete Anteil falscher Treffer unter allen Ergebnissen, die du als signifikant meldest. Eingeführt haben sie die Statistiker Yoav Benjamini und Yosef Hochberg 1995. Die Plattform Harness (früher Split) formuliert es knapp: der Anteil aller signifikanten Ergebnisse, die falsch-positiv sind.
Wie wird sie berechnet?
Grundidee
FDR = falsch-positive Treffer ÷ alle signifikanten Treffer
Beispiel: 20 signifikante Metriken, davon 1 Zufallstreffer → FDR = 5 %
In der Praxis rechnest du die FDR nicht nachträglich aus, denn welcher Treffer falsch ist, weißt du ja nicht. Du legst ein Ziel fest, etwa 5 oder 10 %, und ein Verfahren sorgt dafür, dass es eingehalten wird. Das bekannteste heißt Benjamini-Hochberg:
- Alle p-Werte aufsteigend sortieren.
- Für jeden Rang k die Schwelle k ÷ Anzahl Tests × Ziel-FDR bilden.
- Den größten Rang suchen, dessen p-Wert unter seiner Schwelle liegt.
- Alles bis zu diesem Rang zählt als Treffer.
Rechenbeispiel: Fünf Metriken mit p-Werten 0,003 · 0,012 · 0,021 · 0,040 · 0,30, Ziel 5 %. Die Schwellen sind 0,01 · 0,02 · 0,03 · 0,04 · 0,05. Benjamini-Hochberg lässt vier Treffer stehen. Die strengere Bonferroni-Korrektur (0,05 ÷ 5 = 0,01 für alle) nur einen.
Warum das bei A/B-Tests zählt
Je mehr Metriken und Varianten du prüfst, desto sicherer wird irgendwo etwas zufällig grün. Harness rechnet vor: Bei 20 Metriken ohne Korrektur und Schwelle 0,05 liegt die Chance auf mindestens einen Scheintreffer bei knapp zwei Dritteln. Bei 100 Metriken ohne echten Effekt erscheinen im Schnitt fünf signifikant.
Verfahren
Kontrolliert
Ohne Korrektur
nur jeden Einzeltest
Benjamini-Hochberg
Anteil falscher Treffer
Bonferroni, Holm
Chance auf einen Fehlalarm
Bonferroni und Holm schützen dich davor, dass überhaupt ein falscher Treffer dabei ist (Fachwort: family-wise error rate). Das ist strenger, findet aber auch weniger echte Effekte. Benjamini-Hochberg nimmt ein paar Fehlalarme in Kauf und findet dafür mehr.
Beispiele aus der Praxis
Case A · Optimizely
Fünf Varianten, zwei Metriken
10
Vergleiche
50 %
falsche Gewinner
Ein echter Gewinner plus ein Zufallsgewinner bei 10 % Niveau
Rechenbeispiel aus der Optimizely-Hilfe. Mit FDR-Kontrolle hält Optimizely den Anteil bei etwa 10 %.
Case B · Spotify
Rund 1.300 Experimente nachgerechnet
32,3 %
ausgerollt ohne Korrektur
28,0 %
ausgerollt mit Benjamini-Hochberg
Gut jede achte Ausroll-Entscheidung fällt mit Korrektur weg
Spotify Confidence, 2026. Mit Bonferroni wären es 23,1 % — Spotify empfiehlt für Produktentscheidungen trotzdem die strengere Variante.
Häufige Fehler
Fehler 1 · Zehn Metriken prüfen und die grüne feiern
Wer ohne Korrektur so lange sucht, bis etwas signifikant ist, findet fast immer etwas. Leg vor dem Test eine Hauptmetrik fest, alles andere ist Beiwerk.
Fehler 2 · Glauben, Segmente seien mitkorrigiert
Optimizely schreibt ausdrücklich, dass die FDR-Kontrolle bei Segmenten nicht gilt. Statsig korrigiert Aufschlüsselungen nach Nutzermerkmalen ebenfalls nicht. Der Gewinner „nur bei Handy-Nutzern aus Bayern“ ist oft Zufall.
Fehler 3 · FDR und Signifikanzniveau verwechseln
5 % Signifikanz heißt nicht 5 % falsche Gewinner. Wie hoch der Anteil wirklich ist, hängt davon ab, wie viele deiner Ideen überhaupt wirken.
Fehler 4 · Mitten im Test umbauen
Wer Varianten oder Metriken während der Laufzeit ergänzt oder streicht, verschiebt die korrigierten Werte. Die VWO-Hilfe, heute unter Wingify, warnt genau davor.
So gehst du damit um
- Optimizely: FDR-Kontrolle in der Stats Engine ist immer aktiv, gestuft nach Haupt- und Nebenmetriken.
- GrowthBook: Benjamini-Hochberg oder Holm-Bonferroni einstellbar, nur in der frequentistischen Engine und nur für Ziel-Metriken.
- Statsig: Benjamini-Hochberg je Experiment oder für die ganze Organisation einschaltbar.
- Eigene Auswertung: In R mit p.adjust(method = "BH"), in Python mit statsmodels.
Häufige Fragen
Was ist der Unterschied zwischen False Discovery Rate und Fehler 1. Art?
Der Fehler 1. Art ist ein Fehlalarm in einem einzelnen Test, sein Risiko legt das Signifikanzniveau fest. Die False Discovery Rate schaut auf alle Treffer zusammen und fragt, welcher Anteil davon falsch ist.
Wann nehme ich Benjamini-Hochberg, wann Bonferroni?
Bonferroni, wenn schon ein einziger falscher Gewinner teuer wäre, etwa bei einer großen Produktentscheidung. Benjamini-Hochberg, wenn du viele Metriken erkundest und lieber mehr echte Effekte findest, auch um den Preis einzelner Fehlalarme.
Brauche ich eine Korrektur bei nur einer Hauptmetrik?
Für diese eine Metrik nicht. Die Korrektur wird nötig, sobald du mehrere Metriken, Varianten oder Segmente auswertest und daraus Entscheidungen ableitest.
Welche FDR ist üblich?
Meist 5 oder 10 %. Optimizely nennt für seine Stats Engine etwa 10 %. Strenger wird es, wenn ein Fehlgriff viel Geld kostet.
Was ist ein q-Wert?
Der q-Wert ist das Gegenstück zum p-Wert für die False Discovery Rate. Er sagt, ab welcher FDR-Schwelle ein Ergebnis noch als Treffer gelten würde.
