Was ist eine Holdout-Gruppe?
Dein Werbekonto meldet 500 Käufe. Aber wie viele dieser Leute hätten auch ohne Anzeige gekauft? Das sagt dir kein Dashboard. Das sagt dir nur eine Holdout-Gruppe.
Du nimmst zufällig einen Teil deiner Zielgruppe und schließt ihn von der Kampagne aus. Der Rest bekommt die Werbung ganz normal. Am Ende vergleichst du beide Gruppen. Der Unterschied ist das, was deine Kampagne zusätzlich gebracht hat, die Inkrementalität.
Die Plattformen nennen es unterschiedlich. Bei Klaviyo heißt es Global Holdout Group, bei Braze Global Control Group, bei Meta Holdout-Test. Google spricht von Testgruppe, Kontrollgruppe und Holdback. Gemeint ist immer dasselbe.
Wie rechnest du den Lift aus?
Du brauchst zwei Zahlen: die Conversion Rate der beworbenen Gruppe und die der Holdout-Gruppe. Klaviyo rechnet es so:
Lift
Lift = (Rate Testgruppe − Rate Holdout) ÷ Rate Holdout × 100
Beispiel: 1,15 % gegenüber 1,00 % → Lift = 15 %
Die Zahl der zusätzlichen Conversions bekommst du ebenso leicht: Differenz der Raten mal Größe der Testgruppe. Bei 100.000 Personen wären das im Beispiel 150 zusätzliche Käufe, obwohl das Werbekonto vielleicht 1.150 meldet.
Wie groß die Gruppe sein soll, ist je Plattform verschieden. Eine feste Regel gibt es nicht:
Plattform
Größe
Google Ads
1 bis 50 %
Klaviyo
etwa 5 %
Braze
höchstens 10 %
Meta
10 %
Klaviyo empfiehlt drei Monate Laufzeit, Braze ein Quartal und nicht unter einem Monat. Google nennt für Conversion Lift mindestens 7 Tage, besser 14. Dort brauchst du außerdem 1.000 beobachtete Conversions und mindestens 5.000 USD Budget, die Verfügbarkeit ist je Konto unterschiedlich.
Warum das so viel ausmacht
Zwei große Fälle zeigen, wie weit gefühlte und echte Wirkung auseinanderliegen. Beide kommen von Großunternehmen, sie lassen sich nicht eins zu eins auf kleine Firmen übertragen.
Fall A · Paid Search
eBay, 60 Tage ohne Gebote
4.173 %
ROI, einfach gerechnet
−63 %
ROI im Experiment
Nur +0,66 % Umsatz durch die Anzeigen
Sehr bekannte Marke. Positive Wirkung zeigte sich nur bei Neukunden und seltenen Käufern.
Fall B · Facebook
663 Experimente, unterer Funnel
5 %
Median-Lift mit Kontrollgruppe
24 bis 64 %
Schätzung ohne Experiment
Verfahren ohne Kontrollgruppe lagen deutlich darüber
Die Autoren standen teils in Verbindung zu Facebook. Medianer Holdout dort: 10 %.
Die Lektion: Wer ohnehin kaufen wollte, klickt auch die Anzeige. Die Attribution rechnet ihn trotzdem der Kampagne zu. Auch ein Holdout-Test liefert aber keine Wunderzahl. Lewis und Rao fanden in 25 Feldexperimenten ein medianes ROI-Intervall von über 100 Prozentpunkten Breite.
Häufige Fehler
Fehler 1 · Gruppe zu klein
Kleiner Lift plus schwankende Umsätze ergibt ein Ergebnis, aus dem du nichts lernst. Genau das trifft kleine Unternehmen. Klaviyo schaltet die Funktion deshalb erst ab 400.000 Profilen frei.
Fehler 2 · Holdout verunreinigen
Bekommt die Gruppe doch Nachrichten, sinkt der gemessene Lift. Klaviyo rät, nur nicht-werbliche Nachrichten als Ausnahme zuzulassen. Bei Braze erreichen API-Kampagnen die Kontrollgruppe weiterhin. Prüf das vor dem Start.
Fehler 3 · Ergebnis zu weit auslegen
Die Gruppe ist nur für den getesteten Kanal werbefrei. Läuft parallel Meta, Google und Newsletter, gilt dein Lift genau für den Kanal, den du zurückgehalten hast.
Fehler 4 · Mit Attribution verwechseln
Attribution verteilt Conversions auf Kanäle. Sie misst keine Ursache. Der Holdout misst sie. Beide widersprechen sich oft, und das ist kein Fehler, sondern der Erkenntnisgewinn.
So startest du klein
Du brauchst kein Spezialtool. Für einen Newsletter geht es so:
- Segment bilden: Wähl per Zufall einen Teil deiner Liste aus, zum Beispiel 10 %.
- Ausschließen: Nimm dieses Segment von Werbe-Mails aus.
- Laufen lassen: Wart mindestens ein paar Wochen, besser ein Quartal.
- Vergleichen: Stell Käufe beider Gruppen gegenüber, und zwar im Shop und nicht im Mail-Tool.
Häufige Fragen
Wie groß sollte eine Holdout-Gruppe sein?
Klaviyo empfiehlt etwa 5 % der Profile, Braze höchstens 10 %, Meta arbeitet mit 10 %. Der Median in 663 Facebook-Experimenten lag bei 10 %. Je kleiner deine Liste, desto größer muss der Anteil sein, damit überhaupt ein Ergebnis herauskommt.
Wie lange muss ein Holdout-Test laufen?
Für Newsletter und CRM empfehlen Klaviyo und Braze rund ein Quartal. Für Anzeigen nennt Google bei Conversion Lift mindestens 7, besser 14 Tage. Dein Kaufzyklus gibt die Untergrenze vor.
Was ist der Unterschied zwischen Holdout-Test und A/B-Test?
Der A/B-Test vergleicht zwei Varianten, beide Gruppen bekommen etwas. Der Holdout-Test vergleicht „Kampagne“ mit „gar nichts“. Er beantwortet also nicht, was besser wirkt, sondern ob es überhaupt wirkt.
Lohnt sich das für kleine Listen?
Nur begrenzt. Bei kleinen Zahlen ist der Zufall oft größer als der Effekt. Einen groben Eindruck bekommst du trotzdem, wenn du ein Segment über längere Zeit zurückhältst und den Test nicht nach wenigen Tagen abbrichst.
Verliere ich durch die Gruppe nicht Umsatz?
Etwas, ja, wenn die Kampagne wirkt. Dafür erfährst du, wie viel sie wirklich bringt. Wirkt sie nicht, sparst du künftig Budget. Bei eBay zeigte der Test, dass die Anzeigen kaum zusätzlichen Umsatz brachten.
