Wie gross der Anteil der Awareness-Kanäle an der Erreichung der Unternehmensziele ist und wie der optimale Kanalmix aussieht, sind Fragen, die oft mit “Bauchgefühl” statt harter Daten beantwortet werden. Das führt zu Unsicherheiten, Unstimmigkeiten und einer ineffizienten Budgetallokation. Mit statistischen Methoden wie dem Marketing-Mix-Modelling und kontrollierten Experimenten können diese Datenlücken aber gefüllt und das Marketingbudget dort investiert werden, wo der ROI (bzw. der Grenzertrag) am grössten ist.
Die Attribution von harten (oder auch weicheren) Conversions zu bestimmten Kanälen, Massnahmen oder Kampagnen ist nicht immer einfach, insbesondere in einer Online-Welt, die zum einen durch komplexe Multi-Channel-Kampagnen und zum anderen durch immer strikter werdende Datenschutzregeln bestimmt ist.
Ob es diese eine bestimmte Conversion auch gegeben hätte, wenn diese eine Anzeigen-Impression nicht stattgefunden hätte, ist schon prinzipiell kaum zu beantworten, unabhängig von der Qualität des Tracking-Setups. Interessante Einsichten kann man aber gewinnen, wenn man den Blickpunkt erhöht und sich fragt, wie viel Prozent des Online-Umsatzes beispielsweise durch Investitionen in Awareness-Kanäle getrieben wurde.
Unzureichende Attribution von Analytics- und Werbeplattformen
Dass die Attribution einzelner Conversions so schwierig ist, liegt unter anderem daran, dass Google Analytics & Co. die Attributionsfrage nur unzureichend klären können. Zwar hat Google Analytics mit der sogenannten “datengetriebenen Attribution” wenigstens auf dem Papier einen relevanten Schritt vorwärts getan im Vergleich zu klassischen Last-Click-Modellen. Der Vergleich des Outputs des datengetriebenen Modells mit dem einfachen Last-Click-Modell ist allerdings in der Regel ernüchternd.
Die datengetriebene Attribution unterscheidet sich oft kaum von anderen Modellen. Wir haben das bei unseren Kunden konkret geprüft: Bei den allermeisten GA4-Properties wurden weniger als 2 % der Conversions durch einen Modellwechsel umverteilt. Welches Attributionsmodell verwendet wird, spielt für die Messung des Impacts der einzelnen Kanäle eigentlich keine Rolle.
Der Grund dafür: Auch ein “datengetriebenes” Modell ist nur so gut wie die Daten, die Google Analytics zur Verfügung stehen. Und insbesondere reine Anzeigen-Impressions gehören nicht zu diesen Daten. Google Analytics (GA4) berücksichtigt nur Klicks auf die getrackte Webseite.
Werbeplattformen wie Meta und TikTok können diese Lücke teilweise füllen, indem sie reine Anzeigen-Impressions mit Conversions in Verbindung setzen über sogenannte “View-Through-Conversions”: Auch wenn einige Tage nach einer Anzeigen-Impression eine Conversion, z. B. nach einem Direkteinstieg auf die Webseite, stattgefunden hat, kann diese der ursprünglichen Anzeige attribuiert werden. Allerdings werden in einem solchen Fall nur Kampagnen der eigenen Plattform berücksichtigt.
Wenn eine Nutzerin Anzeigen auf TikTok, Instagram und YouTube sieht und danach über einen Direkteinstieg konvertiert, können weder Analytics-Tools noch die Plattformen selbst diese Conversion hinreichend gut auf die einzelnen Kanäle zurückführen: Die Plattformen zählen dann je eine Conversion für die eigenen Kanäle und GA4 attribuiert die Conversion dem Direct Traffic. Zudem berücksichtigen View-Through-Conversions nicht ansatzweise die Frage, ob die Nutzerin auch konvertiert hätte, ohne die Anzeigen gesehen zu haben.
Hinzu kommen weitere Faktoren, welche die Attribution erschweren: Ein Gerätewechsel (z. B. von Mobile auf Desktop) zwischen Anzeigen-Impressionen oder -Klicks und der Conversion, eine lange Dauer zwischen den ersten Touchpoints und der Conversion (Problem: verkürzte Cookie-Laufzeiten z. B. auf Safari), fehlende Möglichkeiten, First-Party-Daten mit den Plattformen abzugleichen, fehlende Tracking-Einwilligung etc.
Statistische Analyse: Das Konzept
Als Antwort auf diese Probleme bietet sich eine Rückbesinnung auf den einfachen Ansatz zur Messung des Kampagnen-Impacts an, der angewendet wurde, bevor man überhaupt daran gedacht hat, jede einzelne Customer Journey nachzuverfolgen: Die Beobachtung eines einfachen zeitlichen Zusammenhangs zwischen Conversions und Kampagnen.
Wenn die Conversions gerade immer dann steil ansteigen, sobald die Kampagnen anlaufen, dann ist ein Zusammenhang offensichtlich. Allerdings nur, und da wird es in der Praxis schwierig, wenn die Kampagnenzeitdauer nicht gleichzeitig mit dem saisonalen Nachfragehoch (z. B. an Weihnachten) zusammenfällt. Weil Kampagnenaktivität natürlich in der Regel auf die Saison abgestimmt wird, ist diese Bedingung oft nicht gegeben.
Zudem steht man oft vor dem Problem, dass Kampagnen in verschiedenen Kanälen gleichzeitig live gehen und daher die Isolierung des Effekts einer einzelnen Kampagne schwierig ist.
Der zweite Schritt ist darum die Anwendung von ausgefeilteren Methoden als nur die Beobachtung eines einfachen zeitlichen Zusammenhangs. Mit solchen Methoden können saisonale Effekte herausgerechnet werden, die Beiträge einzelner Kampagnen oder Kanäle geschätzt und Faktoren wie die zeitliche Verzögerung zwischen Anzeigen-Impressionen und Conversions berücksichtigt werden. Verbreitet sind etwa folgende Ansätze:
Querschnittsvergleich
Die Idee dieses Ansatzes ist es, den Markt in Segmente zu unterteilen, die unterschiedlich intensiv mit Werbemassnahmen bespielt wurden, aber denselben externen Faktoren (Mitbewerber, Saison etc.) unterliegen. In der Praxis ist das oft eine Aufteilung des Marktes in entsprechende geographische Regionen. Wenn die Kampagne nur in der Region A ausgespielt wurde und die Nachfrage danach gerade in dieser Region stark angestiegen ist, und nicht in den vergleichbaren Regionen B und C, hat man einen starken Beleg für die Kampagnenwirkung.
Dieser Ansatz wird in sogenannten “Geo-Holdout-” oder “Geo-Lift-Experimenten” angewendet: Der Markt wird in mehrere Paare von jeweils vergleichbaren Regionen eingeteilt, wobei nur jeweils eine Region pro Paar mit den Marketingmassnahmen bespielt wird. Danach wird die Entwicklung der Conversions innerhalb der Paare verglichen. Wenn gerade immer diejenigen Regionen besser performen, in welchen eine Intervention stattgefunden hat, hat man einen guten Beleg für die Kampagnenwirkung, der nicht durch saisonale oder andere externe Faktoren verfälscht wurde.
Ein grosses Gewicht liegt hier auf der Voraussetzung, dass die Experiment- und Kontrollregionen “vergleichbar” sind, d. h. denselben externen Faktoren unterliegen. Regionenpaare, die heftig von unerwarteten externen Faktoren getroffen wurden, müssen aus dem Experiment entfernt werden.
Kontrafaktisches Modell
Anhand von Daten aus der kampagnenfreien Vorperiode und (wenn vorhanden) der Entwicklung von Kontrollvariablen (z. B. des Suchvolumens von generischen Keywords) wird mit einem kontrafaktischen Modell geschätzt, wie sich die Anzahl Conversions entwickelt hätte, wenn die Kampagne nicht stattgefunden hätte. Diese Schätzung wird dann mit der Realität verglichen und so eine Kampagnenwirkung isoliert.
Die Kontrollvariablen sollten möglichst mit der Entwicklung der Conversions vor der Intervention korrelieren, aber von der Massnahme selbst nicht betroffen werden. Gute Kontrollvariablen zu finden, ist oft eine grosse Herausforderung.
Beliebt für die Bildung eines kontrafaktischen Modells ist etwa das Software-Paket “CausalImpact”, das von Google für die Programmiersprache R zur Verfügung gestellt wird.
Die folgende Grafik zeigt das Resultat einer CausalImpact-Analyse, die wir für einen Kunden durchgeführt haben:
Eingezeichnet ist der Start des Kampagnenflights (pink), ein Wahrscheinlichkeitsband, das die kontrafaktische Schätzung der Conversions repräsentiert (gestrichelte Linie: durchschnittlich erwartete Conversions) und die Anzahl Conversions im Zeitverlauf (schwarz). Für diese Analyse haben wir nur Conversions berücksichtigt, die GA4 keinem Paid-Kanal attribuiert hat.
Wie gut zu sehen ist, liegt die Anzahl Conversions nach dem Start des Flights deutlich über der kontrafaktischen Schätzung. Die Wahrscheinlichkeit ist also sehr hoch, dass GA4 in diesem Fall viele Conversions z. B. dem Direct Traffic oder der organischen Suche attribuiert hat, die eigentlich auf die Kampagne zurückzuführen gewesen wären. Hätte man sich hier nur auf GA4 verlassen, hätte man die Kampagnenwirkung deutlich unterschätzt.
Gleichzeitig nähert sich die Anzahl der gemessenen Conversions auch relativ schnell wieder der kontrafaktischen Schätzung an. Als Kampagneneffekt darf aus statistischer Sicht nur die Zeitperiode ausgewiesen werden, in der sich die gemessenen Conversions oberhalb des Bandes befanden.
Die Grafik illustriert zudem anschaulich ein Problem, das wir bei der Analyse hatten: Die Linie der kontrafaktischen Schätzung nach dem Start des Flights ist flach, weil wir nur unzureichende Daten zur Saisonalität hatten. Dass die Ausschläge nach dem Start des Flights saisonal bedingt waren, ist aber sehr unwahrscheinlich. Wir haben hier einen sehr guten Beleg eines Kampagneneffekts.
Marketing-Mix-Modelling
Das Marketing-Mix-Modelling findet Anwendung, wenn man eine lange Datenreihe (mindestens 2-3 Jahre) zur Verfügung hat und mehrere aktive Kanäle oder Kampagnen. Während ein einfaches kontrafaktisches Modell vor allem dafür geeignet ist, die Wirkung einzelner Kampagnen oder Flights zu analysieren, kann mit einem Marketing-Mix-Modell geschätzt werden, wie viel jeder einzelne Kanal zum Ergebnis beigetragen hat. Damit das Modell ein akkurates Ergebnis liefert, sollte die Intensität der Werbemassnahmen über die Zeit hinweg und im Querschnittsvergleich zwischen den Kanälen schwanken.
Ein solches Modell ist auch gut geeignet dafür, Verzögerungseffekte (Carryover) oder Sättigungseffekte (= die Conversions werden nicht proportional mit dem Investment ansteigen) zu berücksichtigen.
Für alle diese Methoden gilt, dass sie nur verwertbare Ergebnisse liefern, wenn die Werbemassnahmen nicht deckungsgleich mit der saisonalen Entwicklung verliefen oder wenn mindestens Vorjahresdaten ohne Kampagnenaktivität zur Verfügung stehen.
Um nicht bloss eine Korrelation zwischen der Schaltung von Kampagnen und Conversions zu messen, sondern auch eine Aussage zur kausalen Wirkung treffen zu können, wird man in den meisten Fällen nicht um ein Experiment herumkommen. Das gilt auch, wenn die bestehenden Daten eigentlich schon gut geeignet wären für die Erstellung eines Marketing-Mix-Modells. Denn die Erstellung eines (guten) Modells ist nur möglich mit gewissen Vorannahmen zum Kampagnenimpact und ein Experiment liefert genau die Daten zur Bildung dieser Annahmen.
Statistische Analyse: Die Umsetzung
Wir selbst führen diese Analysen vor allem für die Impact-Messung von Awareness- oder Upper-Funnel-Kampagnen durch, also dort, wo die direkte Messung des Kampagneneffekts auf Conversions eher schwierig ist. Wir nutzen verschiedene Methoden und Modelle, je nach Datenlage und Bedürfnissen der Kundinnen und Kunden. Spezialisiert haben wir uns insbesondere auf die Nutzung von zwei Modellierungstools von Google: “CausalImpact” für die kontrafaktische Analyse einzelner Flights und “Meridian” für die Berechnung von Marketing-Mix-Modellen.
Diese Tools basieren auf R (CausalImpact) und Python (Meridian) und können frei benutzt werden. Die entsprechenden Ressourcen sind auf GitHub zu finden: 1. CausalImpact, 2. Meridian.
Wichtig zu wissen ist, dass das Resultat von zwei Faktoren abhängt: vom Umfang und der Güte der eingespeisten Daten und gewissen notwendigen Vorannahmen. Die zu treffenden Vorannahmen unterscheiden sich von Methode zu Methode und betreffen etwa Annahmen zur Varianz der Conversions vor der Intervention, zur saisonalen Entwicklung etc.
Wie oben schon angetönt, steht und fällt die Analyse mit der Qualität der zur Verfügung stehenden Daten. Der grösste Stolperstein ist jeweils die Existenz von externen, nicht im Modell enthaltenen Faktoren, welche die Entwicklung der Conversions beeinflussen (unbeobachtetes Confounding). Das kann zum Beispiel die saisonale Nachfrage sein, die Medienpräsenz, Rabattaktionen, die Entwicklung der Mitbewerbersituation, Nachfragetrends, eine sich verändernde Präsenz des Unternehmens in den organischen Suchresultaten usw.
Eine vollständige Kontrolle dieser Faktoren ist nicht möglich. Der pragmatische Weg ist eine Annäherung daran, insbesondere mit der Durchführung eines streng kontrollierten Experiments zur Impact-Messung: Ein schlagartiger Kampagnenhalt bis die Carryover-Effekte abgeklungen sind oder eine schlagartige Verdoppelung der Impressionen, ein Geo-Holdout-Experiment (wie oben beschrieben) oder eine gezielte Schaltung von Kampagnen in der Nebensaison.
Budgets zu streichen, zu verdoppeln oder in der Nebensaison zu investieren: Klar, das braucht Mut. Und das verursacht Kosten. Solche mutigen Schritte und Investitionen lohnen sich aber, wenn dadurch Entscheidungen zur Kampagnen- oder Budgetsteuerung getroffen werden können, die besser durch Daten gestützt sind. Wenn Budgetentscheidungen nicht mehr auf Vertrauen oder ein Bauchgefühl gestützt werden, sondern handfeste Belege verfügbar sind.
Möchten Sie besser verstehen, wie viel Ihre Kampagnen zu Ihrem Geschäftserfolg beitragen? Kontaktieren Sie uns für ein unverbindliches Gespräch. Wir schauen uns Ihre Situation sehr gerne näher an und besprechen mit Ihnen mögliche nächste Schritte.
Lass uns besprechen, wie wir dein Tracking zukunftssicher aufstellen.
Senior Digital Analytics & SEO Consultant
