Een A/B-test opzetten met een duidelijke beslisregel
Plan een A/B-test met één hypothese, passende toewijzing en vooraf gekozen uitkomsten. Met een fictief rekenvoorbeeld en praktische stopregels.
In dit artikel
Een A/B-test vergelijkt twee varianten door geschikte deelnemers vooraf volgens een vastgelegde, bij voorkeur willekeurige regel toe te wijzen. U kiest vóór de start de belangrijkste uitkomst, benodigde omvang, looptijd en beslisregel. Zo onderzoekt u een afgebakende verandering zonder achteraf alleen het gunstigste cijfer te selecteren.
Een voor-en-na-vergelijking is geen A/B-test. Ook twee links in dezelfde nieuwsbrief vormen niet automatisch vergelijkbare groepen. De bovenste link kan de onderste beïnvloeden en verschillende mensen kunnen verschillende boodschappen zien. De toewijzing bepaalt wat u uit het verschil mag afleiden.
Formuleer één toetsbare hypothese
Schrijf welke verandering u verwacht en waarom. Bijvoorbeeld: een concretere uitleg over de intake helpt geschikte bezoekers begrijpen wat een aanvraag inhoudt. De test vergelijkt die uitleg met de huidige versie; hij test niet tegelijk een nieuwe prijs, foto en formulierlengte.
Een samengestelde variant kan praktisch nuttig zijn, maar dan onderzoekt u het totale pakket. U kunt achteraf niet betrouwbaar zeggen welk onderdeel het verschil veroorzaakte. Houd de claim even smal als de opzet.
Het NIST-handboek over experimenteel ontwerp plaatst de onderzoeksvraag en factoren vóór de uitvoering. Die volgorde voorkomt dat u na afloop een mooi verhaal bedenkt bij een toevallige uitslag.
Kies uitkomst en beschermende controles
Gebruik één primaire uitkomst die bij de vraag past. Een passende aanvraag ligt dichter bij het doel dan een willekeurige knopklik. Leg de conversiedefinitie, noemer en uitsluitingen vast voordat iemand de resultaten bekijkt.
Voeg enkele beschermende controles toe. Een variant kan meer formulierstarts opleveren maar tegelijk de laadtijd verslechteren of foutmeldingen veroorzaken. U wilt geen oppervlakkige winst ten koste van de echte taak.
Pas bestaande inhoudelijke principes toe, zoals een landingspagina die vragen beantwoordt. Een test is geen reden om bewust misleidende, ontoegankelijke of onvolledige uitleg aan een deel van uw bezoekers te tonen.
Bepaal wie in welke groep terechtkomt
Leg uw eenheid vast: persoon, account, sessie of een andere geschikte eenheid. Als dezelfde persoon bij ieder bezoek een andere variant ziet, kan de ervaring door elkaar lopen. Ook meerdere medewerkers van hetzelfde bedrijf kunnen elkaar beïnvloeden.
Controleer de verwachte verdeling. Een opvallende afwijking van de gekozen groepsverhouding is aanleiding om de techniek te onderzoeken. Begin niet onmiddellijk te verklaren waarom een commerciële doelgroep blijkbaar de ene variant prefereert; de toewijzing hoort die voorkeur juist niet te volgen.
Beoordeel persoonsgegevens en benodigde opslag volgens de W3C-privacyprincipes. Experimentele toewijzing geeft geen automatische toestemming voor tracking. Kies een rechtmatige, proportionele uitvoering en documenteer de grenzen.
Leg omvang en stoppen vooraf vast
Bereken de benodigde steekproef op basis van uitgangsniveau, relevant verschil en gewenste onzekerheid. Kies ook een periode die de relevante gebruikscyclus omvat. Een vast aantal waarnemingen in één ongewone dag kan een zwakke basis blijven.
Stop niet telkens wanneer een toevallig gunstige tussenstand verschijnt. Herhaald kijken en alleen bij succes stoppen beïnvloedt de foutkans van een gewone vaste-steekproeftoets. Een sequentiële methode kan geschikt zijn, maar vraagt een daarvoor ontworpen analyse en regels.
Spreek wel veiligheidsstops af. Een defect formulier of ernstige toegankelijkheidsfout moet worden hersteld. Noteer dat de test daardoor niet volgens het oorspronkelijke plan is afgerond, in plaats van de resterende data als een perfecte vergelijking te presenteren.
Lees een fictieve uitslag correct
Fictief voorbeeld: variant A heeft 1.000 geschikte deelnemers en 40 geldige aanvragen. Variant B heeft eveneens 1.000 deelnemers en 50 aanvragen. Er is geen echte test uitgevoerd.
De waargenomen percentages zijn 4% en 5%. Het absolute verschil is 1 procentpunt. De relatieve stijging is (5 − 4) / 4 × 100 = 25%. Beide beschrijven dezelfde tien extra waargenomen aanvragen, maar alleen het relatieve percentage klinkt groot.
Deze aantallen bewijzen op zichzelf geen betrouwbare winnaar. U moet de vooraf gekozen analyse en onzekerheid toepassen. Het NIST-handboek voor statistische methoden behandelt het verschil tussen schatten, variatie en toetsen. Een positief verschil in de steekproef kan samengaan met aanzienlijke onzekerheid over het werkelijke effect.
Onderzoek de uitvoering vóór u de winnaar noemt
Controleer ontbrekende registraties, dubbele events, bots en onbedoelde verschillen tussen groepen. Verwijder alleen gevallen volgens vooraf vastgelegde of duidelijk onderbouwde kwaliteitsregels. Ongunstige maar geldige waarnemingen horen bij de uitkomst.
Bekijk ook of beide varianten gedurende de hele test werkten. Een kapotte versie op één toestel kan een technisch effect veroorzaken dat niets over de bedoelde tekstvraag zegt. Noteer gelijktijdige prijswijzigingen, acties en andere gebeurtenissen.
Gebruik voor e-mail de extra beperkingen uit nieuwsbriefonderwerpregels testen. Technische openingen en veiligheidsklikken zijn geen zuivere maat voor menselijke belangstelling. Kies de uitkomst die u werkelijk kunt verdedigen.
Vertaal de uitkomst naar een begrensd besluit
Een bruikbaar eindverslag bevat hypothese, ontwerp, aantallen, effectschatting, onzekerheid en afwijkingen. Noem ook wanneer het resultaat niet beslissend is. “Nog geen overtuigend verschil” is een andere conclusie dan “beide varianten zijn gelijkwaardig”.
Voer een gekozen variant zorgvuldig in en blijf technische kwaliteit volgen. Een test bij één doelgroep en periode garandeert niet dat het effect overal terugkomt. Bij een kostbare beslissing kan herhaling of aanvullend onderzoek passend zijn.
Bewaar ook een neutrale of negatieve uitslag. Die voorkomt dat een volgend team dezelfde onzekere aanname opnieuw als bewezen waarheid behandelt. Een goed uitgevoerde test levert kennis, ook wanneer er geen commerciële winnaar uitkomt.
Analyseer deelnemers volgens het gekozen ontwerp
Als mensen na toewijzing niet allemaal de variant zien, ontstaat een uitvoeringsvraag. Alleen achteraf de meest actieve deelnemers vergelijken kan het voordeel van de oorspronkelijke willekeurige indeling aantasten. Leg daarom vooraf vast hoe u toewijzing, blootstelling en uitval behandelt. Bewaar beide aantallen in de technische controle. Een variant die op een toestel niet laadt, is een andere situatie dan een bezoeker die de tekst bewust niet leest. Verander de analysepopulatie niet uitsluitend omdat het eerste resultaat tegenvalt. Laat bij complexe afwijkingen een passende analyse kiezen en vermeld waarom die afwijkt van het oorspronkelijke plan. Transparantie is hier nuttiger dan een schijnbaar eenvoudig winnaarslabel.