Een betrouwbaarheidsinterval rond een conversieratio uitleggen

Een betrouwbaarheidsinterval rond een conversieratio beschrijft de onzekerheid van een schatting onder een gekozen statistisch model. Toon altijd de aantallen achter het percentage en vermeld de methode. Een interval maakt een kleine steekproef niet groot en bewijst niet dat de waarnemingen representatief zijn voor alle toekomstige bezoekers.

De praktische winst is dat 12% op 100 deelnemers niet klinkt alsof het onderliggende percentage exact bekend is. Een interval laat zien dat meerdere waarden met deze waarneming verenigbaar kunnen zijn. Het helpt voorzichtig formuleren, maar vervangt geen goed meetplan of passend experiment.

Controleer eerst of een proportiemodel past

In een eenvoudige binomiale opzet heeft iedere deelnemer één van twee uitkomsten: wel of geen vooraf gedefinieerde conversie. Deelnemers worden verondersteld voldoende onafhankelijk te zijn en dezelfde relevante kansstructuur te volgen binnen het model.

Tien bezoeken van één persoon zijn niet vanzelf tien onafhankelijke personen. Ook klanten binnen dezelfde organisatie kunnen samenhangen. Kies de analyseeenheid met conversies definiëren, voordat u een intervalcalculator opent.

Meetuitval, selectie en ongeldige gebeurtenissen worden niet door de formule opgelost. Een nauw interval rond een vertekende telling kan zeer overtuigend ogen en toch een slecht antwoord geven. Daarom begint de beoordeling bij de bron en de onderzoeksvraag.

Begrijp de betekenis van 95%

Bij een gebruikelijke frequentistische interpretatie heeft een methode een gekozen langetermijndekking. Wanneer dezelfde steekproefprocedure onder de aannames vaak wordt herhaald, zou ongeveer 95% van de zo gemaakte 95%-intervallen de vaste werkelijke parameter omvatten.

Dat is niet hetzelfde als een kansuitspraak dat de parameter in dit ene berekende interval met 95% waarschijnlijkheid ligt. De parameter is in deze interpretatie vast; de steekproef en het interval variëren. Voor praktische rapportage kunt u spreken van een onzekerheidsinterval volgens de gekozen methode, met de interpretatie erbij.

Het NIST-hoofdstuk over intervallen voor een proportie bespreekt methoden en aannames. Verschillende methoden kunnen vooral bij kleine aantallen of extreme percentages verschillende grenzen geven.

Bereken een fictief Wilson-interval

Fictief voorbeeld: 100 onafhankelijke deelnemers zijn volledig geobserveerd en 12 hebben de afgesproken conversie. De steekproefproportie is p = 12 / 100 = 0,12. Voor een tweezijdig benaderd 95%-Wilson-interval gebruiken we z = 1,96.

Bereken eerst de noemer d = 1 + z² / n = 1,038416. Het middelpunt is (p + z² / (2n)) / d, hier ongeveer 0,134058. Dit middelpunt is bij Wilson niet noodzakelijk gelijk aan de ruwe proportie.

De halve breedte is z × √(p(1 − p)/n + z²/(4n²)) / d. Met deze waarden is dat ongeveer 0,064065. De grenzen worden ongeveer 0,069993 en 0,198123, afgerond 7,0% tot 19,8%.

Een rapport kan dus vermelden: “12 conversies op 100 deelnemers, 12%; benaderd 95%-Wilson-interval 7,0%–19,8%.” De afronding past bij een kleine oefensteekproef. Zij suggereert geen zekerheid tot op duizendsten van een procent.

Laat het interval niet meer zeggen dan het model

Het interval omvat steekproefonzekerheid volgens de aannames. Het omvat niet automatisch alle meetfouten, selectie-effecten, seizoensveranderingen of onjuist geclassificeerde aanvragen. Een verandering van aanbod kan de toekomstige conversiekans anders maken.

Gebruik daarom de beperkingen uit marketingresultaten meten. Een resultaat uit één wervingsbron hoeft niet voor alle kanalen te gelden. Een mooi interval is geen bewijs dat iedere bezoeker dezelfde kans heeft.

Het NIST-hoofdstuk over de binomiale verdeling beschrijft het onderliggende model. Controleer of dat model bij uw waarnemingen past. Bij gegroepeerde toewijzing of herhaalde metingen kan een andere methode nodig zijn.

Vergelijk twee groepen met een passende verschilmaat

Twee afzonderlijke intervallen naast elkaar zijn niet hetzelfde als een interval voor het verschil tussen groepen. Wel of geen overlap is geen universele beslisregel voor een A/B-test. Kies vooraf de analyse die bij het ontwerp en de gewenste effectmaat hoort.

Maak bovendien absolute en relatieve verschillen duidelijk. Van 4% naar 5% is 1 procentpunt en 25% relatief. De onzekerheid rond die verandering moet bij die specifieke vergelijking worden berekend, niet afgeleid uit alleen een afgerond stijgingspercentage.

Bij een steekproef voor een A/B-test bepalen kiest u vooraf welk verschil relevant is. Een interval na afloop kan helpen beoordelen of zowel nuttige als ongunstige waarden nog plausibel zijn, maar herschrijft die oorspronkelijke beslisvraag niet.

Vermijd tussentijds grenszoeken

Een interval uit een vaste steekproef past niet automatisch bij onbeperkt tussentijds kijken en stoppen zodra de uitkomst gunstig lijkt. De gebruikte procedure moet het stopgedrag ondersteunen. Kies zo nodig vooraf een geschikte sequentiële methode met deskundige hulp.

Bij onderwerpregeltests komt daar de betekenis van het signaal bij. Een technisch geregistreerde opening kan automatisch ontstaan. Een precieze schatting van zo'n gebeurtenis is niet vanzelf een precieze schatting van menselijke interesse.

Rapporteer ook onbesliste uitkomsten. Als het interval een breed gebied omvat, kan de juiste conclusie zijn dat de beschikbare gegevens nog onvoldoende onderscheid maken. Dat is informatie over de meting, geen opdracht om net zolang door te meten tot de gewenste grens wordt geraakt.

Maak de toelichting onderdeel van het besluit

Noem teller, noemer, intervalniveau, methode en belangrijke aannames. Beschrijf vervolgens wat dat betekent voor de concrete beslissing. Bij een klein risico kan een voorlopig besluit mogelijk zijn; bij een kostbare wijziging kan meer of beter onderzoek nodig zijn.

Vraag bij belangrijke of complexe analyses een passende statistische beoordeling. De eenvoudige oefenformule is bedoeld om een percentage te leren lezen. Zij is geen universele toets voor samengestelde uitkomsten, afhankelijke deelnemers of campagnes die op verschillende momenten en doelgroepen draaiden.

Bronnen en grenzen

• NIST: Confidence Interval for a Proportion, methoden en intervalinterpretatie.
• NIST: Binomial Distribution, model voor binaire uitkomsten.

De 100 deelnemers zijn fictief. De berekening gebruikt een Wilson-benadering met z = 1,96 en levert geen garantie over toekomstige conversies.