Segmenten na een experiment onderzoeken zonder toevallige winnaars te kiezen

Onderzoek segmenten na een experiment als vooraf geplande deelvragen of duidelijk gelabelde verkenning. Kies geen winnaar alleen omdat één kleine groep gunstig uitkomt. Veel uitsplitsingen vergroten de kans op toevallige opvallende bevindingen en vragen een passende analyse van verschillen tussen groepen.

Een test kan gemiddeld weinig verschil tonen en bij mobiele deelnemers een groter waargenomen verschil hebben. Dat is een aanleiding om te onderzoeken, geen automatisch bewijs dat de variant uitsluitend mobiel werkt. De onzekerheid en het onderzoeksontwerp blijven ook binnen segmenten gelden.

Leg relevante segmenten vooraf vast

Kies enkele inhoudelijk gemotiveerde groepen, bijvoorbeeld een technisch verschillende omgeving of een duidelijk ander gebruiksdoel. Beschrijf waarom u een ander effect verwacht en welke beslissing die informatie verandert. Een segment zonder concrete reden is gemakkelijk achteraf gunstig te vinden.

Neem de keuzes mee in de A/B-testopzet. Leg vast of de segmentanalyse bevestigend of verkennend is en hoe zij de omvang en beslisregel beïnvloedt. Een hoofdtest die voor het totaal is gepland, heeft niet automatisch voldoende informatie voor ieder deel ervan.

Gebruik kenmerken die vóór de behandeling vaststaan wanneer dat bij de vraag hoort. Een groep vormen op basis van gedrag dat de variant zelf kan beïnvloeden, zoals wel of niet doorklikken, kan de oorspronkelijke gerandomiseerde vergelijking aantasten.

Begrijp het probleem van veel vergelijkingen

Als u genoeg groepen en maten bekijkt, ontstaat ook bij afwezigheid van echte effecten soms een opvallende uitslag. Onder een sterk vereenvoudigde aanname van twintig onafhankelijke toetsen met ieder 5% foutkans is de kans op minstens één onterechte positieve uitkomst 1 − 0,95²⁰, ongeveer 64,2%.

Werkelijke segmenttoetsen zijn vaak niet onafhankelijk. Het getal is daarom geen voorspelling voor ieder dashboard. Het laat wel zien waarom twintig kansen op een gunstig label niet hetzelfde zijn als één vooraf gekozen vraag.

Het NIST-hoofdstuk over meerdere vergelijkingen bespreekt deze bredere problematiek. Kies bij bevestigende analyses een passende gezamenlijke aanpak. Alleen alle percentages tonen en vervolgens het aantrekkelijkste aanwijzen beheerst de foutkans niet.

Lees een fictieve uitsplitsing zorgvuldig

Fictief voorbeeld: een test bevat in elke variant 1.000 deelnemers. A heeft 80 conversies en B 84: 8% tegenover 8,4%. Van iedere groep zijn 200 deelnemers mobiel. Binnen mobiel heeft A 10 conversies en B 18: 5% tegenover 9%.

De overige 800 deelnemers per variant zijn desktopgebruikers. Daar zijn de aantallen A 70 en B 66: 8,75% tegenover 8,25%. De mobiele plus desktopaantallen tellen correct op tot de totale 80 en 84.

Het waargenomen mobiele verschil is 4 procentpunten, het desktopverschil −0,5 procentpunt. Het is verleidelijk alleen mobiel uit te rollen. Toch geven deze aantallen zonder passende analyse geen bewezen verschil in werking tussen apparaten. Het mobiele segment is kleiner en de uitsplitsing kan achteraf gekozen zijn.

Het fictieve team bewaart dit daarom als hypothese voor vervolgonderzoek. Het rapporteert de volledige uitsplitsing en noemt ook het desktopresultaat, in plaats van alleen de gunstigste groep te publiceren.

Vergelijk effecten in plaats van labels

Een gunstig statistisch label in één segment en een onbeslist label in een ander bewijst niet dat de effecten onderling verschillen. Daarvoor is een passende vergelijking van effecten, vaak een interactieanalyse, nodig. De relevante vraag is het verschil tussen de groepsverschillen.

Het NIST-hoofdstuk over Bonferroni beschrijft één benadering voor meerdere vergelijkingen. Die methode is niet automatisch de beste keuze voor iedere segmentanalyse en vervangt geen inhoudelijk juist model.

Laat bij belangrijke beslissingen een geschikte analyse kiezen. Afhankelijke waarnemingen, zeer kleine aantallen en complexe toewijzing vragen extra aandacht. Een standaard dashboardlabel kan deze ontwerpkeuzes niet voor u maken.

Houd aantallen, mix en meetdekking zichtbaar

Toon per segment teller, noemer en effectmaat. Een relatieve stijging klinkt groot wanneer het uitgangsniveau klein is. Geef daarom ook het absolute verschil en passende onzekerheid. Laat lege of onvolledig gemeten groepen niet verdwijnen uit de tabel.

Gebruik gewogen conversieratio's om te begrijpen hoe de mix het totaal beïnvloedt. Een hoger totaal kan ontstaan doordat meer deelnemers in een hoog converterend segment zitten. Dat is iets anders dan een beter effect binnen dat segment.

Controleer of segmentdefinities gelijk bleven. Een gewijzigde classificatie van apparaten of landen kan schijnbare verschillen opleveren. Privacykeuzes en technische blokkering kunnen bovendien de beschikbare kenmerken selectief beperken. Meer uitsplitsen geeft dan niet automatisch meer inzicht.

Geef verkenning een vervolg dat haar toetst

Een onverwacht patroon mag tot een nieuwe hypothese leiden. Beschrijf waarom het patroon inhoudelijk plausibel is en wat een volgende test nodig heeft. Plan een nieuwe vergelijking met dezelfde relevante groep en een vooraf bepaalde analyse.

Vervang de oorspronkelijke hoofdvraag niet achteraf. Gebruik de grenzen uit marketingresultaten meten om te vertellen wat waargenomen en wat nog onbevestigd is. Een verkennende vondst kan interessant zijn zonder een uitvoerbesluit te rechtvaardigen.

Soms is eerst kwalitatief of technisch onderzoek zinvol. Als een variant mobiel slecht zichtbaar is, kan een functionele controle het mechanisme beter verduidelijken dan een nieuwe ronde met veel kleine statistische segmenten.

Bewaar ook niet-opvallende segmenten

Publiceer de vooraf afgesproken uitsplitsingen met hun beperkingen, niet alleen de gunstige. Noem welke extra analyses achteraf zijn uitgevoerd. Dat maakt zichtbaar hoeveel mogelijkheden er waren om iets opvallends te vinden.

Bij onderwerpregeltests kunnen technische verschillen in openingsregistratie per omgeving bovendien een segmentpatroon veroorzaken. Controleer de betekenis van het signaal voordat u een communicatieregel voor een doelgroep afleidt.

Het praktische doel is een betere vervolgvraag met een passende bewijslast. Een zorgvuldig gelabelde hypothese kan waardevol zijn. Een stellige segmentwinnaar zonder voldoende ontwerp en analyse maakt toekomstig werk juist afhankelijk van mogelijk toeval.

Bronnen en grenzen

• NIST: Multiple Comparisons, gezamenlijke foutkansen bij meerdere vergelijkingen.
• NIST: Bonferroni's Method, één mogelijke correctiebenadering.

De testcijfers zijn fictief. De kansberekening veronderstelt onafhankelijke toetsen en is geen universele foutkans voor ieder segmentdashboard.