De groepsverdeling van een A/B-test controleren voordat u effecten leest

Controleer vóór de effectanalyse of de aantallen toegewezen deelnemers passen bij de vooraf geplande verdeling. Een opvallende afwijking heet vaak sample ratio mismatch, afgekort SRM. Zij is een waarschuwingssignaal voor onderzoek naar toewijzing, geschiktheid of registratie, geen bewijs dat een variant beter werkt.

Bij een geplande 50/50-verdeling hoeft een eindige steekproef niet exact half om half te zijn. Toeval veroorzaakt verschillen. Een controle beoordeelt of de afwijking onder een passend model ongebruikelijk is en zoekt daarna naar een technische of procedurele verklaring.

Kies de juiste telling voor de controle

Gebruik in de eerste plaats de eenheden die daadwerkelijk aan groepen zijn toegewezen, volgens de vooraf bepaalde geschiktheidsregels. Dat kunnen unieke deelnemers of organisaties zijn. Sessies, paginaweergaven of clicks zijn niet automatisch onafhankelijke toewijzingen.

Houd toewijzing en blootstelling uit elkaar. Iemand kan worden toegewezen zonder de pagina volledig te laden. Een variant kan daarna meer interacties veroorzaken; een ongelijke verdeling van clicks is dan niet vanzelf een fout in de randomisatie.

Leg deze keuze vast bij een A/B-test opzetten. Als u pas na het zien van de uitkomst beslist welke telling de controle gebruikt, kunt u een echt probleem onbedoeld wegdefiniëren. Bewaar daarom ook hoe en wanneer deelnemers geschikt worden verklaard.

Bereken de verwachte aantallen uit het plan

Bij twee groepen met een geplande 50/50-verdeling krijgt iedere groep de helft van het totale aantal toegewezen deelnemers als verwacht aantal. Bij een 80/20-plan zijn de verwachtingen uiteraard anders. Vergelijk nooit met een verdeling die alleen in de gebruikersinterface verondersteld wordt.

Het NIST-hoofdstuk over chi-kwadraat goodness-of-fit beschrijft een methode om geobserveerde aantallen met verwachte aantallen te vergelijken. De benadering vraagt voldoende verwachte aantallen en een passende opzet.

Kies vooraf een controlegrens en de frequentie van controle. Veel herhaalde controles vragen aandacht voor het totale foutgedrag. Een gewone eenmalige toets heeft niet zonder meer dezelfde eigenschappen als voortdurend kijken tot ergens een alarm ontstaat.

Reken een fictieve verdelingscontrole door

Fictief voorbeeld: een test plant 50/50-toewijzing en bevat 2.000 onafhankelijke geschikte deelnemers. De registratie toont 1.100 in A en 900 in B. Onder het plan zijn de verwachte aantallen 1.000 en 1.000.

De Pearson-statistiek is de som van (waargenomen − verwacht)² / verwacht. Hier wordt dat (1.100 − 1.000)² / 1.000 + (900 − 1.000)² / 1.000 = 10 + 10 = 20.

Bij twee categorieën en volledig vooraf gespecificeerde kansen heeft deze gebruikelijke toets één vrijheidsgraad. Een vooraf gekozen eenmalige grens van 1% correspondeert in de chi-kwadraatbenadering met ongeveer 6,635. De waarde 20 ligt daarboven en geeft in dit oefenprotocol een onderzoekssignaal.

Dat signaal zegt niet welke groep fout is en evenmin hoeveel conversie-effect de fout heeft veroorzaakt. Het voorbeeld veronderstelt dat de aannames en telling kloppen. In de praktijk moet juist die grondslag worden onderzocht voordat u de uitslag betrouwbaar gebruikt.

Onderzoek de keten vanaf toewijzing

Controleer de werkelijk ingestelde kansen, de geschiktheidslogica en veranderingen tijdens de looptijd. Kijk of dezelfde deelnemer meerdere toewijzingen krijgt en of één variant pas na een extra technische stap wordt geregistreerd. Een fout kan vóór, tijdens of na de randomisatie ontstaan.

Het NIST-hoofdstuk over experimenteel ontwerp beschrijft waarom de uitvoering bij het onderzoeksontwerp hoort. Een goede formule herstelt geen selectieve registratie of onbedoeld andere deelnemerspopulatie.

Zoek ook naar gewone administratieve oorzaken: een export met andere filters, een nog niet complete dag of een gewijzigde uitsluitingsregel. Een afwijkend totaal is een startpunt voor diagnose, niet automatisch een oordeel over de leverancier of ontwikkelaar.

Gebruik segmenten voor diagnose met terughoudendheid

Een technische uitsplitsing naar dag, browsertype of route kan helpen lokaliseren waar de verdeling afwijkt. Een probleem dat op één releasedatum begint, geeft een gerichtere onderzoeksvraag dan één totaalcijfer. Gebruik alleen kenmerken die passend beschikbaar zijn.

Doorzoek niet onbeperkt kleine segmenten om ergens een alarm te vinden. Toevallige afwijkingen worden dan waarschijnlijker. Noteer welke analyses diagnostisch en achteraf zijn, en gebruik ze niet als onafhankelijk bewijs voor een winnaar.

Bij onderwerpregeltests moet u daarnaast weten of de groepen op verzending, aflevering of een andere stap zijn geteld. Een verschil na aflevering kan een ander mechanisme weerspiegelen dan een verschil bij de oorspronkelijke toewijzing.

Herstel en beslis over bruikbaarheid

Als een fout selectief deelnemers uit één groep verwijdert, is het effect mogelijk vertekend. Alleen de grootste groep willekeurig verkleinen herstelt dat niet. De overgebleven populaties kunnen inhoudelijk nog steeds verschillen.

Bepaal op basis van de oorzaak of de test geldig kan worden geanalyseerd, gedeeltelijk bruikbaar is of opnieuw moet worden uitgevoerd. Documenteer de fout, getroffen periode en keuze. Een nieuwe start met herstelde registratie kan eerlijker zijn dan een ingewikkelde correctie zonder verdedigbare aannames.

Laat de beslissing niet afhangen van welke variant toevallig gunstig uitkomt. Gebruik de principes uit marketingresultaten meten: een onzeker of ongeldig resultaat hoort zo te worden gerapporteerd, ook wanneer het veelbelovend oogt.

Maak de controle onderdeel van het testdossier

Bewaar geplande kansen, geobserveerde aantallen, methode, grens en controletijdstip. Neem de controle op in het datakwaliteitsplan, samen met een eigenaar voor onderzoek. Vermeld ook of er na een herstel opnieuw is toegewezen.

Een geslaagde verdelingscontrole bewijst niet dat alles goed is. Beide groepen kunnen dezelfde meetfout hebben, of de uitkomstmaat kan verkeerd zijn. De controle sluit één type probleem beter af, waarna u ook uitvoering, meetbetekenis en effectanalyse moet beoordelen.

Bronnen en grenzen

• NIST: Chi-Square Goodness-of-Fit Test, vergelijking van aantallen met een verwacht model.
• NIST: experimenteel ontwerp, uitvoering en onderzoeksopzet.

De test is fictief. De grens van 1% is een gekozen oefenafspraak voor een eenmalige controle, geen universele SRM-regel of garantie op een geldig experiment.