Was ist Synthetic Control?
Jede Wirkungsmessung braucht einen Vergleich: Wie sähe die Welt ohne deine Maßnahme aus? Bei einer Kampagne für einzelne Personen hilft eine Holdout-Gruppe. Wirbst du aber nur in einer Stadt oder einem Land, gibt es oft keine zweite Region, die genau so tickt. Genau hier setzt Synthetic Control an.
Die Methode rechnet aus mehreren unbeworbenen Regionen eine künstliche Vergleichsregion zusammen. Jede bekommt ein Gewicht. Die Gewichte werden so gewählt, dass der Mix den Verlauf der beworbenen Region vor dem Start möglichst genau trifft. Läuft die Kampagne, gilt der Abstand zwischen echtem und synthetischem Verlauf als ihre Wirkung.
So funktioniert die Methode
Die Idee stammt aus der Wirtschaftsforschung. Alberto Abadie und Kollegen haben sie 2010 an einem berühmten Fall gezeigt: dem kalifornischen Tabakprogramm ab 1989.
- Donor Pool: 38 US-Bundesstaaten ohne vergleichbares Programm.
- Vorlauf: 19 Jahre Daten zum Zigarettenabsatz vor dem Start.
- Ergebnis der Gewichtung: Das „synthetische Kalifornien“ besteht aus nur 5 der 38 Staaten, alle anderen haben Gewicht null.
- Wirkung: Bis 2000 lag der Absatz pro Kopf im Schnitt fast 20 Packungen unter dem Vergleich, rund 25 % weniger.
Fürs Marketing heißt das: Statt Bundesstaaten nimmst du Städte oder Regionen, statt Zigaretten Umsatz, Sitzungen oder Anfragen. Die Kampagne läuft nur in einem Teil der Regionen, der Rest liefert die Bausteine für den Vergleich.
Ist der Effekt echt? Der Placebo-Test
Zur Kontrolle wendest du die Methode der Reihe nach auf jede unbeworbene Region an, als hätte dort die Kampagne stattgefunden. Ist der Abstand bei der echten Region deutlich größer als bei allen Placebos, ist der Effekt glaubwürdig. In Kalifornien kam kein Kontrollstaat auch nur in die Nähe.
Synthetic Control im Marketing
Fall A · Suchanzeigen, USA
Google prüft CausalImpact
+22 %
geschätzte Klicks
95 von 190
Regionen beworben
Schätzung nah am randomisierten Test
Sechs Wochen Kampagne. Das Modell schätzte 88.400 zusätzliche Klicks, der echte Zufallstest ergab 84.700.
Fall B · TV, Reiseplattform
Kurzer Schub, kein Plus
+3 %
Sitzungen nach Spot
11 von 126
Regionen mit TV
Über die Kampagne kein messbarer Effekt
Die Käufe wurden nur vorgezogen. Ausgewertet mit Synthetic Difference-in-Differences, einer Weiterentwicklung der Methode.
Fall B zeigt, warum sich der Aufwand lohnt. Eine einfache Vorher-nachher-Grafik hätte den Ausschlag nach jedem Spot als Erfolg verkauft. Erst der Vergleich über die ganze Laufzeit zeigt: unterm Strich null.
Abgrenzung zu verwandten Methoden
Begriff
Was es ist
Geo-Experiment
das Testdesign: Regionen bekommen Werbung oder nicht
Holdout-Gruppe
eine echte Gruppe ohne Werbung, meist per Zufall
Synthetic Control
eine errechnete Vergleichsgruppe aus vielen Regionen
Marketing-Mix-Modellierung
ein Gesamtmodell über alle Kanäle
Googles CausalImpact arbeitet ähnlich, nutzt aber ein Zeitreihenmodell und erlaubt auch negative Gewichte. Metas Open-Source-Werkzeug GeoLift baut direkt auf Synthetic-Control-Varianten auf. Vorsicht bei Google Ads: Dessen geobasierter Conversion Lift nutzt laut Hilfe andere Verfahren, nämlich Trimmed Match und zeitbasierte Regression.
Häufige Fehler
Fehler 1 · Schlechter Fit vor dem Start
Trifft die synthetische Region den Verlauf vor der Kampagne nicht, ist jede spätere Lücke wertlos. Sie kann schlicht daher kommen, dass der Vergleich nie gepasst hat. Schau dir die Vorperiode immer zuerst an.
Fehler 2 · Verseuchter Donor Pool
Lief in einer Kontrollregion eine eigene Aktion, ein Messestand oder ein Sonderangebot, gehört sie raus. Abadie und Kollegen haben aus demselben Grund elf Staaten mit eigenen Tabakmaßnahmen ausgeschlossen.
Fehler 3 · Werbung schwappt über
Pendler, Radio mit großer Reichweite oder Social Ads ohne saubere Ortsgrenze tragen deine Kampagne in die Kontrollregionen. Dann unterschätzt du die Wirkung. GeoLift bietet dafür Pendler-Zonen als Regionen an.
Fehler 4 · Zu kleine Effekte erwarten
Bewegt die Kampagne kaum mehr als die normale Schwankung, findet keine Methode sie. In Googles Simulation blieb ein Lift von höchstens 1 % in rund 90 % der Fälle unentdeckt.
So startest du einen Test
- Regionen wählen: genug vergleichbare Städte oder Gebiete, in denen du die Werbung sauber an- und ausschalten kannst.
- Vorlauf sammeln: tägliche oder wöchentliche Zahlen je Region, lang genug für einen guten Fit.
- Störer ausschließen: Regionen mit Sonderaktionen raus aus dem Donor Pool.
- Laufzeit planen: mindestens einen vollständigen Kaufzyklus, wie es auch GeoLift empfiehlt.
- Auswerten: Fit vorher, Lücke nachher, Placebo-Tests und Intervalle zusammen lesen.
Häufige Fragen
Was ist der Unterschied zwischen synthetischer Kontrollgruppe und Holdout-Gruppe?
Eine Holdout-Gruppe ist echt: Menschen oder Regionen, die du von der Werbung ausschließt. Die synthetische Kontrollgruppe ist errechnet. Sie ersetzt die Holdout-Gruppe, wenn keine einzelne Region gut genug passt.
Wie viele Daten brauche ich vor dem Test?
Eine feste Regel nennt die Fachliteratur nicht. Der Vorlauf muss lang genug sein, damit die synthetische Region den echten Verlauf sauber trifft. Der Test selbst sollte mindestens einen vollständigen Kaufzyklus abdecken.
Geht Synthetic Control auch bei einer bundesweiten Kampagne?
Ja, mit anderen Kontrollreihen. In Googles CausalImpact-Studie lieferten Suchtrends der Branche als Vergleich ein Ergebnis, das rund 1 % neben dem echten Zufallstest lag.
Ist Synthetic Control dasselbe wie GeoLift oder CausalImpact?
Nicht ganz. GeoLift baut auf Synthetic-Control-Varianten auf. CausalImpact nutzt ein verwandtes Zeitreihenmodell. Beide sind Werkzeuge, Synthetic Control ist die Methode dahinter.
Quellen
- Abadie (2021): Using Synthetic Controls, Journal of Economic Literature
- Abadie, Diamond, Hainmueller (2010): Synthetic Control Methods, JASA
- Brodersen et al. (2015): Inferring causal impact using Bayesian structural time-series models
- Lambrecht, Tucker, Zhang (2024): TV Advertising and Online Sales, Journal of Marketing Research
- Meta GeoLift: Methodology
- Google Ads-Hilfe: Conversion Lift nach Geografie
