De steekproef voor een A/B-test bepalen voordat u begint

De benodigde steekproef voor een A/B-test hangt af van uw uitgangsniveau, het kleinste relevante verschil, de gewenste foutkansen en het onderzoeksontwerp. Kies die waarden vooraf. Hoe kleiner het verschil dat u wilt onderscheiden, hoe meer waarnemingen doorgaans nodig zijn. Er bestaat geen betrouwbaar universeel minimumaantal bezoekers.

Een steekproefberekening is een planningsinstrument, geen garantie op een winnaar. De berekening veronderstelt onder meer dat de waarnemingen en uitvoering passen bij de gekozen methode. Een klein bedrijf kan ontdekken dat een betekenisvolle test langer duurt dan het aanbod stabiel blijft. Ook dat is een nuttig resultaat van de voorbereiding.

Begin met het verschil dat een besluit verandert

Vraag niet alleen welk verschil statistisch aantoonbaar kan worden. Bepaal welk verschil de implementatie, kosten en risico's rechtvaardigt. Een nauwelijks merkbare stijging kan bij heel veel verkeer statistisch duidelijk zijn en zakelijk toch weinig betekenen.

Schrijf absolute en relatieve veranderingen naast elkaar. Van 4% naar 5% is 1 procentpunt extra en een relatieve stijging van 25%. Van 4% naar 4,1% is slechts 0,1 procentpunt extra, ook al kan een groot experiment dat uiteindelijk onderscheiden.

Gebruik een betrouwbare uitgangsschatting met de beperkingen uit marketingresultaten meten. Een week met twee aanvragen op weinig verkeer geeft een onzekere basis voor een zeer precieze berekening.

Leg de statistische keuzes uit in gewone taal

Bij een gebruikelijke vaste-steekproeftoets kiest u onder meer een significantieniveau en statistische power. Het eerste begrenst onder de aannames de kans op een onterechte positieve conclusie wanneer er geen effect is. Power beschrijft de kans dat de test een gekozen werkelijk effect detecteert.

Een keuze van 5% en 80% komt vaak voor in oefenberekeningen, maar is geen verplicht kwaliteitskeurmerk. De gevolgen van fout beslissen kunnen een andere keuze vragen. Een tweezijdige toets onderzoekt verschillen in beide richtingen; een eenzijdige keuze moet inhoudelijk en vooraf te verdedigen zijn.

Het NIST-handboek over statistische methoden behandelt toetsing en schatting. Laat bij een belangrijk besluit een passende methode kiezen in plaats van de standaardwaarden van een calculator als natuurwet te behandelen.

Reken een fictieve planning stap voor stap door

Fictief voorbeeld: u plant twee even grote, onafhankelijke groepen. De primaire uitkomst is wel of geen geldige aanvraag per deelnemer. Het uitgangsniveau is 4% en een stijging naar 5% is het kleinste gekozen relevante verschil.

Voor een ruwe normale benadering met tweezijdig 5% significantieniveau en 80% power gebruiken we hier:

n per groep ≈ 2 × (1,96 + 0,84)² × p̄ × (1 − p̄) / verschil²

Hier is het gemiddelde aandeel p̄ = (0,04 + 0,05) / 2 = 0,045 en het absolute verschil 0,01. De berekening wordt 2 × 7,84 × 0,045 × 0,955 / 0,0001 = 6.738,48.

Rond voor deze grove planning naar boven af: ongeveer 6.740 deelnemers per groep, dus 13.480 in totaal. Dit is een vereenvoudigde benadering. Exactere methoden, ongelijke groepen of een andere analysemethode kunnen een andere omvang geven. Gebruik de formule niet zonder de aannames te controleren.

Vertaal de omvang naar werkelijk beschikbaar verkeer

Stel in hetzelfde fictieve voorbeeld dat dagelijks 200 nieuwe, geschikte en bruikbaar gemeten deelnemers beschikbaar zijn voor beide groepen samen. Dan vraagt 13.480 / 200 = 67,4 dagen, dus ongeveer 68 dagen, uitsluitend op basis van volume.

Dat zijn niet automatisch alle websitebezoeken. Herhaalde bezoekers, ongeschikte landen, technische uitval en toestemmingskeuzes kunnen de bruikbare omvang veranderen. Deel niet door het grootste getal op uw dashboard om de geplande duur aantrekkelijker te maken.

Controleer bovendien of prijs, aanbod en verkeersmix zo lang voldoende stabiel kunnen blijven. Het NIST-hoofdstuk over experimenteel ontwerp helpt de uitvoering als onderdeel van het onderzoek te zien, niet als een detail na de rekensom.

Controleer of de waarnemingen echt onafhankelijk zijn

Tien bezoeken van dezelfde persoon zijn meestal geen tien onafhankelijke personen. Ook herhaalde aankopen of medewerkers binnen één klantorganisatie kunnen samenhangen. Een eenvoudige berekening voor onafhankelijke proporties houdt daar geen rekening mee.

Hetzelfde geldt voor een test per regio of filiaal. Duizend klanten verdeeld over twee regio's vormen niet vanzelf duizend onafhankelijk toegewezen eenheden. Het aantal en de eigenschappen van de groepen doen ertoe.

Kies de toewijzing en analyse samen met de opzet van uw A/B-test. Achteraf een verkeerd gekozen eenheid corrigeren is vaak moeilijker dan vooraf een haalbaar ontwerp kiezen.

Maak van tussentijds kijken geen stopregel

Een gewone vaste-steekproefberekening past niet bij onbeperkt kijken en onmiddellijk stoppen zodra een gunstige uitslag verschijnt. Dat kan de werkelijke foutkans verhogen. Kies vooraf een passende sequentiële methode als u doorlopend wilt beslissen.

Bij onderwerpregeltests in e-mail komt daar meetruis bij. Geautomatiseerde openingen en beveiligingsklikken maken een technisch signaal niet gelijk aan interesse. Meer van een verkeerde maat meten lost die betekenisfout niet op.

Publiceer na afloop niet alleen een label “significant”. Toon groepsgrootten, aantallen, verschil en onzekerheid. Een besluit heeft meer context nodig dan één grenswaarde uit een calculator.

Kies bij te weinig verkeer een andere vraag

U kunt een grotere, inhoudelijk relevante verandering onderzoeken, een langere stabiele periode plannen of eerst een kwalitatief knelpunt opsporen. U mag de minimale effectgrootte niet na afloop zo aanpassen dat de bestaande uitslag overtuigend lijkt.

Soms is geen experiment uitvoeren het meest verantwoord. Een evident defect formulier herstellen vereist geen test waarin een controlegroep het defect houdt. Een onduidelijke tekst kan eerst via gesprekken worden verbeterd.

Voor campagnerendement vraagt incrementaliteit bovendien een ander ontwerp dan alleen twee paginateksten. Zorg dat de steekproef hoort bij de werkelijke vraag. Een exact uitgerekend aantal voor de verkeerde vergelijking blijft een slecht plan.

Plan uitval zonder resultaten op te rekken

Als vooraf bekend is dat een deel technisch onbruikbaar zal zijn, kan de wervingsplanning extra deelnemers vragen. Houd de reden en verwachte uitval apart van de analysegrootte. Een reserve is niet bedoeld om na afloop onbeperkt door te testen tot de gewenste uitslag verschijnt. Controleer ook of uitval in beide groepen vergelijkbaar ontstaat. Verschillende meetuitval kan de vergelijking inhoudelijk beïnvloeden; alleen meer verkeer verzamelen herstelt dat niet. Bij een duidelijke uitvoeringsfout onderzoekt u eerst de oorzaak voordat u de steekproef simpelweg verhoogt.

Bronnen en verder lezen

• NIST: e-Handbook of Statistical Methods.
• NIST: experimenteel ontwerp.