Incrementaliteit meten: wat voegt marketing werkelijk toe?
Scheid toegeschreven omzet van extra effect. Ontwerp een geloofwaardige vergelijking met een controlegroep, expliciete aannames en een fictieve berekening.
.jpg){kind=link}
In dit artikel
Incrementaliteit is het extra resultaat dat een marketinghandeling veroorzaakt ten opzichte van wat zonder die handeling zou zijn gebeurd. Dat tweede scenario ziet u niet rechtstreeks voor dezelfde persoon op hetzelfde moment. U hebt daarom een geloofwaardige vergelijking nodig, bij voorkeur met vooraf willekeurig ingedeelde groepen en duidelijke meetafspraken.
Een aankoop die een platform aan een advertentie toeschrijft, is niet automatisch een extra aankoop. De klant had mogelijk ook zonder advertentie besteld. Incrementaliteitsonderzoek probeert dat verschil te schatten. Het levert geen zekerheid over elke individuele klant en vraagt meer voorbereiding dan twee grafieken naast elkaar leggen.
Stel een beperkte effectvraag
Vraag bijvoorbeeld wat één concrete campagne toevoegt binnen een omschreven doelgroep en periode. “Werkt marketing?” is te breed: verschillende activiteiten, klanten en effecten lopen dan door elkaar.
Leg uitkomst en tijdshorizon vast. Een aanvraag kan snel ontstaan, terwijl een opdracht pas maanden later volgt. Een kort experiment kan het eerste meten zonder over het tweede al een betrouwbare conclusie te geven.
Zet de vraag naast uw marketingbudget. Hoe groter de mogelijke beslissing en het risico, hoe meer onderbouwing redelijk is. Een klein team hoeft geen ingewikkeld experiment te starten als de huidige meetketen nog niet betrouwbaar functioneert.
Begrijp waarom een controlegroep helpt
Een controlegroep krijgt de onderzochte handeling niet en biedt een schatting van het verloop zonder die handeling. Willekeurige indeling helpt verschillen tussen groepen gemiddeld te verdelen, maar maakt een onzorgvuldige uitvoering niet automatisch goed.
Het NIST-handboek over experimenteel ontwerp benadrukt planning en de relatie tussen factoren en respons. Bij marketing moet u onder meer rekening houden met overlap, uitvoerbaarheid en de gekozen uitkomst.
Laat noodzakelijke informatie, dienstverlening of rechten niet weg om een experiment mogelijk te maken. Onderzoek geen gevaarlijke of misleidende variant. De marketingvraag rechtvaardigt geen onzorgvuldige behandeling van deelnemers.
Reken een fictief experiment uit
Volledig fictief voorbeeld: twee vooraf willekeurig gevormde groepen bevatten elk 2.000 geschikte personen. De campagnegroep telt 90 aankopen en de controlegroep 70. Er is geen echte campagne uitgevoerd.
De waargenomen aankooppercentages zijn 90 / 2.000 = 4,5% en 70 / 2.000 = 3,5%. Het absolute verschil is 1 procentpunt. Toegepast op de campagnegroep is dat een puntschatting van 20 extra aankopen: 2.000 × 0,01.
De relatieve stijging tegenover de controlegroep is 0,01 / 0,035 = ongeveer 28,6%. Dat klinkt groter dan 1 procentpunt, maar beschrijft hetzelfde verschil met een andere noemer. Toon beide groepsaantallen, niet alleen het relatieve percentage.
Stel uitsluitend voor de rekensom een bijdrage van €80 per extra aankoop en €2.000 campagnekosten. Dan is de geschatte extra bijdrage €1.600 en het saldo na die campagnekosten −€400. Dit blijft een onzekere puntschatting, geen bewezen winst- of verliesbedrag.
Onderzoek onzekerheid vóór de conclusie
Een verschil tussen 90 en 70 kan mede door toeval ontstaan. Bereken met een geschikte methode een onzekerheidsinterval en beoordeel of de gegevens uw gewenste beslissing kunnen dragen. Een puntschatting alleen vertelt niet hoe precies het effect is geschat.
Het NIST-handboek over statistische methoden behandelt schatting en toetsing. Welke methode past, hangt af van uw eenheid, uitkomst en ontwerp. Herhaalde aankopen van dezelfde persoon vragen bijvoorbeeld andere aandacht dan onafhankelijke éénmalige waarnemingen.
“Niet overtuigend aangetoond” betekent niet “het effect is exact nul”. Het kan ook betekenen dat de test te klein is, de uitvoering afweek of de werkelijke uitkomsten sterk variëren. Maak dat onderscheid zichtbaar.
Voorkom besmetting tussen groepen
Een controlegroep kan de campagne toch tegenkomen via gedeelde links, andere apparaten of overlappende advertenties. Dat verkleint het verschil tussen de feitelijke ervaringen van beide groepen. Documenteer zulke grenzen in plaats van achteraf lastige deelnemers te verwijderen.
Bij regio-experimenten spelen extra verschillen: aanbod, concurrentie, seizoenen en lokale gebeurtenissen. Twee regio's die vooraf op elkaar lijken vormen nog niet vanzelf een willekeurig experiment. Met weinig regio's is statistische onderbouwing bovendien lastiger.
Beperk persoonsgegevens volgens de W3C-privacyprincipes. Een zorgvuldig onderzoek vraagt passende gegevens, niet zo veel mogelijk identifiers. Controleer rechtmatigheid en informatieplicht vóór de uitvoering.
Maak het verschil met attributie expliciet
Een experiment kan een bescheiden extra effect schatten terwijl een platform veel omzet toeschrijft. Dat is niet noodzakelijk tegenstrijdig. Het platform kan ook aankopen meetellen die zonder campagne zouden plaatsvinden.
Lees daarom attributiemodellen vergelijken naast het experimentrapport. Gebruik toewijzing om waargenomen contacten te begrijpen en de experimentele vergelijking voor de afgebakende effectvraag. Verander hun namen niet om één overzicht te krijgen.
De bredere gids over marketingresultaten helpt de conclusie begrenzen. Een effect in één doelgroep en periode bewijst niet dat hetzelfde resultaat bij een verdubbeld budget of in een andere markt terugkomt.
Kies een haalbare volgende stap
Werk vooraf toewijzing, meetkwaliteit, steekproef, duur en beslisregel uit. Bij weinig verkeer kan een experiment te traag of te onzeker zijn. Kies dan eerst een kleinere vraag, een technische verbetering of kwalitatief onderzoek.
Een zorgvuldig opgezette A/B-test kan sommige pagina- of procesvragen beantwoorden, maar vervangt niet automatisch een campagne-holdout. Controleer steeds welke verandering werkelijk wordt geïsoleerd.
Besluit uiteindelijk op basis van effectschatting, onzekerheid, kosten en praktische gevolgen. “De schatting is positief, maar nog te onnauwkeurig voor deze budgetverhoging” is een bruikbaar besluit. Het is eerlijker dan een onzeker getal tot gegarandeerde extra omzet verheffen.
Pas het gevonden effect niet onbeperkt toe
Een experiment bij een afgebakende groep schat het effect voor die uitvoering. Deelnemers buiten die groep kunnen een andere behoefte of koopbereidheid hebben. Ook een hoger budget kan andere mensen bereiken dan de eerste campagne. Vermenigvuldig de geschatte extra aankopen dus niet zonder meer met een veel groter bereik. Beschrijf welke veronderstelling daarvoor nodig zou zijn en toets die bij een volgende stap. Bij een vervolgexperiment bewaart u zowel positieve als neutrale uitkomsten. Alleen succesvolle proeven laten zien geeft een te gunstig beeld van wat marketing gemiddeld toevoegt. De reeks uitgevoerde onderzoeken is daarom even belangrijk als de opvallendste losse test.