Een experimentenregister bijhouden dat ook onbesliste tests bewaart

Een experimentenregister bewaart de oorspronkelijke vraag, de geplande uitvoering, de waargenomen uitkomst en het uiteindelijke besluit van iedere test. Neem ook afgebroken, ongeldige en onbesliste tests op. Zonder die geschiedenis lijkt een organisatie meer succesvolle experimenten te hebben dan zij werkelijk uitvoerde.

Het register hoeft geen ingewikkeld systeem te zijn. Een overzicht met een vast dossier per test kan volstaan. De waarde zit in de samenhang: een collega moet kunnen zien wat vooraf besloten was, wat tijdens de uitvoering veranderde en waarom het team uiteindelijk wel of niet invoerde.

Geef iedere test een herkenbare identiteit

Gebruik een unieke code, korte titel, eigenaar en status. Beschrijf de geteste verandering concreet. “Formulier verbeteren” is te breed; “een vrijwillig toelichtingsveld toevoegen aan het afspraakformulier” maakt duidelijk wat deelnemers anders konden ervaren.

Koppel het dossier aan de relevante versie of beschrijving van de variant. Een screenshot kan context geven, maar vervangt geen tekstuele uitleg van doelgroep, pagina en werking. Bewaar alleen materiaal waarvoor toegang en gebruik passend zijn.

Verbind de test met het marketingplan. Daardoor wordt duidelijk welk probleem prioriteit had en welk besluit de uitkomst moest ondersteunen. Een lijst losse varianten zonder zakelijke vraag verandert snel in een verzameling toevallige vondsten.

Bewaar het plan vóór de start

Leg hypothese, doelgroep, toewijzingseenheid, primaire maat, relevante effectgrootte en beslisregel vast. Noteer geplande looptijd, omvang, uitsluitingen en bekende beperkingen. Een datum of versie maakt later zichtbaar wat werkelijk vooraf bestond.

Het NIST-hoofdstuk over experimenteel ontwerp behandelt de rol van planning bij experimenten. Een register ondersteunt die discipline, maar bewijst op zichzelf niet dat het ontwerp statistisch passend of goed uitgevoerd is.

Verwijs naar een A/B-test opzetten voor de inhoudelijke keuzes. De registerfiche hoeft niet ieder statistisch principe opnieuw uit te leggen. Zij moet wel de concrete gekozen waarden en aannames bewaren, zodat de analyse niet achteraf een nieuwe vraag krijgt.

Werk een fictief registerdossier uit

Fictief voorbeeld: dossier EXP-014 onderzoekt een duidelijker label bij een vrijwillig veld. De primaire maat is het aantal geldig afgeronde formulieren per geschikte deelnemer. De geplande toewijzing is 50/50; de vaste evaluatie volgt na 2.000 geschikte deelnemers, zonder tussentijds stoppen voor een gunstig primair resultaat.

Na afloop bevat A 1.000 deelnemers en 70 geldige afrondingen. B bevat 1.000 en 76. De waargenomen ratio's zijn 7% en 7,6%. Het absolute verschil is 0,6 procentpunt; relatief is dat ongeveer 8,6% ten opzichte van A.

Het dossier vermeldt expliciet dat deze tellingen alleen geen bewezen verbetering vaststellen. De vooraf gekozen analyse en onzekerheid moeten nog worden beoordeeld. Het team registreert de uitkomst als onbeslist wanneer het beschikbare bewijs onvoldoende is voor zijn invoerregel.

Een geldige conclusie kan zijn: geen invoering op basis van deze test, met behoud van de bevinding dat deelnemers het nieuwe label in gesprekken soms duidelijker vonden. Die kwalitatieve observatie krijgt een eigen bron en wordt geen vervangende primaire winnaar.

Houd uitvoering en wijzigingen in een apart log

Noteer release, start en stop, technische incidenten en wijzigingen aan campagne of doelgroep. Geef bij iedere wijziging reden en mogelijke invloed. Een prijsaanpassing tijdens de test kan de interpretatie raken, ook wanneer de formuliercode gelijk bleef.

Bewaar oorspronkelijke keuzes in plaats van ze stil te overschrijven. De W3C-specificatie PROV-O beschrijft begrippen voor herkomst, activiteiten en afleiding van gegevens. U hoeft die ontologie niet technisch te implementeren om het onderliggende principe te gebruiken: maak zichtbaar waar een resultaat vandaan komt en welke bewerkingen ertussen zitten.

Voor een klein team kan een eenvoudige versiegeschiedenis genoeg zijn. Belangrijker dan de software is dat een nieuwe lezer plan, wijziging en uitkomst uit elkaar kan houden. Een achteraf volledig herschreven fiche verbergt precies de informatie die het register waardevol maakt.

Gebruik statussen met een vaste betekenis

Maak onderscheid tussen gepland, lopend, afgerond, onbeslist, afgebroken en ongeldig. Afgerond betekent dat de uitvoering klaar is, niet automatisch dat er een winnaar is. Ongeldig duidt bijvoorbeeld op een fout die de geplande vergelijking niet verantwoord laat interpreteren.

Een afgebroken test kan een nuttig signaal over uitvoerbaarheid geven. Een test met te weinig beschikbare deelnemers kan laten zien dat de gekozen effectvraag praktisch onhaalbaar is. Bewaar die uitkomst, zodat een volgende collega niet hetzelfde traject begint met dezelfde aannames.

Neem guardrails voor experimenten op met hun controle en eventuele pauzebesluiten. Zo blijft zichtbaar waarom een test eerder eindigde en waarom de primaire uitkomst mogelijk anders moet worden geïnterpreteerd.

Scheid bevinding, interpretatie en besluit

De bevinding beschrijft waargenomen aantallen en analyse. De interpretatie bespreekt onzekerheid en alternatieve verklaringen. Het besluit noemt de actie, eigenaar en vervolgdatum. Een zakelijke keuze kan aanvullende kosten of risico's meewegen die niet in één statistisch label passen.

Schrijf ook wanneer niet wordt ingevoerd. Dat voorkomt dat een ongunstige of onbesliste test later als “nog niet uitgewerkt” uit beeld verdwijnt. Maak waar passend een nieuwe onderzoeksvraag, met een nieuw dossier als ontwerp of variant wezenlijk verandert.

Bij onderwerpregeltests kan een verandering in openingsmeting een oude vergelijking minder bruikbaar maken. Bewaar daarom de toen gebruikte maat en technische context. Een historisch resultaat is geen tijdloze regel voor iedere nieuwe mailing.

Gebruik het register om herhaling te verbeteren

Bekijk periodiek welke vragen terugkeren en waar tests vastlopen. Mogelijke patronen zijn te weinig verkeer, te veel onduidelijke uitkomsten of herhaalde meetproblemen. Gebruik die informatie om volgende ontwerpen eenvoudiger en relevanter te maken.

Tel niet alleen het aantal winnaars als succesmaat voor experimenteren. Dat kan selectieve rapportage stimuleren. Een klein aantal goed uitgevoerde, relevante tests met eerlijke onbesliste uitkomsten kan meer bruikbare kennis opleveren dan een lange lijst gunstige labels zonder context.

Beperk toegang tot details die vertrouwelijke bedrijfsinformatie bevatten. Een samenvatting kan breed gedeeld worden, terwijl bronexports in een bevoegde omgeving blijven. Het register bewaart kennis over besluiten en hoeft geen kopie van alle onderliggende persoonsgegevens te zijn.

Bronnen en grenzen

• NIST: experimenteel ontwerp, voorbereiding en uitvoering van experimenten.
• W3C: PROV-O, begrippen voor herkomst en afleiding van gegevens.

Het dossier en de aantallen zijn fictief. Een goed register garandeert geen valide ontwerp, voldoende power of succesvolle marketingverbetering.