Geo-Experiment / Matched-Market-Inkrementalitätstest
Wann Sie diese Methode brauchen
Sie verschieben Budget zwischen Kanälen auf Basis von Attributionszahlen aus Beobachtungsdaten. Wer ohnehin gekauft hätte, wird dem letzten Kontaktpunkt gutgeschrieben, und der Kanal, der am dichtesten am Abschluss sitzt, sieht deshalb am besten aus. Damit wissen Sie nicht, welcher Teil Ihrer Nachfrage zusätzlich entsteht und welcher nur umgebucht wird.
Vorgehen
- 1Den Zielmarkt in nicht überlappende Geos zerlegen, groß genug für eine verlässliche geografische Ausspielung, klein genug für ausreichend viele Einheiten.
- 2Die Antwortgröße festlegen, etwa Anfragen, qualifizierte Chancen oder Umsatz, und je Geo die Daten der Vorperiode bereitstellen.
- 3Die Geos nach ihrem Niveau in der Vorperiode sortieren, die sortierte Liste in Gruppen der Größe M schneiden und aus jeder Gruppe eine Geo zufällig in die Testgruppe ziehen; der Testanteil beträgt damit 1/M.
- 4Vor dem Start die erreichbare Genauigkeit rechnen: Pseudo-Vor- und -Testperioden aus den historischen Daten bilden, die Varianz des Effektkoeffizienten schätzen und über viele Zufallszuweisungen mitteln. Fällt die Halbbreite größer aus als der erwartete Effekt, ist der Test in dieser Auslegung nicht aussagefähig.
- 5Die Testperiode fahren und ausschließlich das Budget der Testgruppe ändern; Kampagnenstruktur, Gebote und Motive bleiben in beiden Gruppen konstant.
- 6Mit dem gewichteten Regressionsmodell auswerten, in dem die Antwortgröße der Testperiode auf die Antwortgröße der Vorperiode und die Ausgabendifferenz regressiert wird; der Koeffizient der Ausgabendifferenz ist der inkrementelle Effekt je eingesetztem Euro.
- 7Die Testperiode über das Ende der Budgetänderung hinaus verlängern, bis der verzögerte Effekt eingelaufen ist; bei Offline- und Pipeline-Größen dauert das.
Typische Anwendung
Ein typisches B2B-SaaS im HR-Umfeld will das Budget für bezahlte Suche kürzen, weil der Kanal im Attributionsmodell nur noch schwach beiträgt. Statt zu kürzen, teilt das Team den deutschen Markt in Postleitzahl-Cluster, sortiert sie nach qualifizierten Anfragen der Vorperiode und zieht aus jeder Dreiergruppe ein Cluster in die Testgruppe. Die Vorabrechnung zeigt, dass eine Kürzung um ein Fünftel im Rauschen verschwinden würde, also wird der Eingriff größer angesetzt und die Testperiode auf acht Wochen verlängert. Der gemessene Rückgang qualifizierter Anfragen fällt am Ende deutlich stärker aus, als das Attributionsmodell dem Kanal zugerechnet hatte. Das Budget bleibt, und die interne Diskussion verschiebt sich von der Frage nach dem richtigen Attributionsmodell zu der Frage, welcher Eingriff als Nächstes getestet wird.
Grenzen und Gegenindikationen
Die Methode setzt voraus, dass Werbung geografisch ausgesteuert werden kann und dass sich Ausgaben und Antwortgröße je Region sauber zuordnen lassen; das schließt Kanäle ohne Geo-Steuerung aus. Sie braucht genügend Regionen mit genügend Volumen, denn bei wenigen und stark ungleichen Einheiten wird die Schätzung unzuverlässig, weshalb Chen und Au einen robusteren Schätzer vorschlagen. In vielen B2B-Fällen fällt bereits die Vorabrechnung durch, weil die erreichbare Konfidenzbreite größer ist als der erwartete Effekt; das ist ein belastbares Ergebnis, bedeutet aber, dass der Test nicht stattfindet. Bei langen Kaufzyklen muss die Testperiode den Nachlauf abdecken, und die Primärquelle weist selbst darauf hin, dass die Genauigkeitsprognose zu optimistisch wird, sobald für lange Testperioden dieselben Vorperioden-Daten mehrfach verwendet werden. Das Ergebnis gilt für den getesteten Ausgabenbereich, den Zeitraum und die getestete Region, es ist keine allgemeine Elastizität und keine Aussage über andere Kanäle.
Woran Sie Wirkung messen
Führen Sie den inkrementellen Effekt je eingesetztem Euro zusammen mit der Halbbreite seines Konfidenzintervalls und stellen Sie ihn der attribuierten Wirkung desselben Zeitraums gegenüber. Die Lücke zwischen beiden Zahlen ist das Maß dafür, wie stark Ihre bisherigen Budgetentscheidungen verzerrt waren.
Verwandte Methoden
Quellen
- 1.Vaver & Koehler: Measuring Ad Effectiveness Using Geo Experiments, Google Inc., 2011 (öffnet in neuem Tab) · Google Inc. (Google Research) · 2011 · Investment-, Beratungs- und Analystenhäuser, Verbände und Behörden · beschreibt das VerfahrenTrägt das Verfahren vollständig: nicht überlappende Geos, zufällige Zuweisung zu Test und Kontrolle, das gewichtete lineare Modell mit den Gewichten 1/Vorperiodenwert, den ROAS als Koeffizient der Ausgabendifferenz, die Varianzformel und die Vorab-Schätzung der Konfidenzbreite aus Pseudo-Perioden. Belegt ausdrücklich, dass die Gruppierung der Geos nach Größe vor der Zuweisung das Konfidenzintervall um rund zehn Prozent oder mehr verkleinert, und dass die Testperiode über das Ende der Budgetänderung hinaus laufen muss, weil Offline-Umsatz verzögert reagiert. Grenze: Google-Forschungsbericht ohne Peer Review, ohne Angabe von Branche, Fallzahl oder Übertragbarkeit auf B2B; die Autoren halten selbst fest, dass keine Messmethode in allen Lagen trägt.
- 2.Gordon, Zettelmeyer, Bhargava & Chapsky: A Comparison of Approaches to Advertising Measurement, Marketing Science 38(2), 2019 (öffnet in neuem Tab) · Kellogg School of Management / INFORMS Marketing Science · 2019 · Wissenschaft und Fachliteratur · belegt den WirkmechanismusBegründet, warum es das Experiment überhaupt braucht. Die Autoren vergleichen fünfzehn randomisierte Werbeexperimente auf Facebook mit rund 500 Millionen Nutzer-Experiment-Beobachtungen gegen gängige Beobachtungsverfahren auf denselben Daten. Die Beobachtungsverfahren überschätzen die Wirkung meist, unterschätzen sie in Einzelfällen deutlich, und in der Hälfte der Studien liegt der geschätzte Zuwachs bei den Kaufergebnissen über alle Verfahren hinweg um den Faktor drei daneben. Grenze: gemessen wurde auf einer Plattform mit sehr reichen Nutzerdaten und auf Nutzerebene, nicht auf Geo-Ebene; die Studie belegt das Versagen der Beobachtungsverfahren, nicht die Güte des Geo-Experiments.
- 3.Kerman, Wang & Vaver: Estimating Ad Effectiveness using Geo Experiments in a Time-Based Regression Framework, Google Inc., 2017 (öffnet in neuem Tab) · Google Inc. (Google Research) · 2017 · Investment-, Beratungs- und Analystenhäuser, Verbände und Behörden · beschreibt das VerfahrenTrägt die Variante für kleine Fallzahlen. Die Autoren halten fest, dass die geo-basierte Regression wenig bis gar nicht anwendbar ist, wenn nur wenige geografische Einheiten zur Verfügung stehen, und stellen daneben eine zeitbasierte Regression, die die Zeitreihe des kontrafaktischen Marktverlaufs vorhersagt und daraus den kumulierten kausalen Effekt schätzt. Grenze: ebenfalls ein Google-Bericht ohne Peer Review; die Verlagerung der Last von der Zahl der Regionen auf die Qualität der Zeitreihenprognose ist ein Tausch, kein Wegfall der Anforderung.
- 4.Chen & Au: Robust causal inference for incremental return on ad spend with randomized paired geo experiments, Annals of Applied Statistics 16(1), 2022 (öffnet in neuem Tab) · Institute of Mathematical Statistics / Annals of Applied Statistics · 2022 · Wissenschaft und Fachliteratur · begrenzt das VerfahrenBenennt peer-reviewed die Schwächen des Standardverfahrens: Bei einer kleinen Zahl stark unterschiedlicher Regionen sind verlässliche Schätzungen des inkrementellen Effekts schwer zu bekommen, Budgetgrenzen erzeugen Wechselwirkungen zwischen den Einheiten, und die üblichen Verteilungsannahmen werden verletzt. Die Autoren schlagen mit Trimmed Match einen verteilungsfreien, robusteren Schätzer vor. Grenze: die Arbeit ersetzt das Verfahren nicht, sondern die Auswertungsformel; die Anforderungen an Design und Datenlage bleiben bestehen.
Ursprung: Vaver & Koehler (Google Research)