Leerlab: steekproeven, bootstrap, kansexperimenten en kruistabel (2 × 2) om uit te proberen

Kort

Het leerlab speelt het toeval duizenden keren door en toont wat eruit komt. Het heeft zes tabbladen en heeft geen gegevens nodig. Alles wat getoond wordt, komt als grafiek, getal en zin; er wordt niets opgeslagen.

De startwaarde

Alle toevalsgetallen komen van de startwaarde bovenaan (standaard 1). Dezelfde startwaarde, dezelfde getallen: zo kan een run worden herhaald en met andere worden vergeleken. “Opnieuw (nieuwe startwaarde)” telt de startwaarde met 1 op en voert het geopende tabblad opnieuw uit. De startwaarde staat in elke zin. De toevalsgetallen komen niet overeen met die van R of SPSS; dezelfde verdeling, andere getallen.

De zes tabbladen

• Steekproeven: tot 10.000 steekproeven van omvang n worden getrokken uit een populatie (normaal, vlak, sterk scheef, tweetoppig, dobbelsteen of proportie). De grafiek toont de gemiddelden (bij “proportie” de proporties) met de kromme die de theorie voorspelt. De standaardfout uit de simulatie ligt dicht bij σ/√n, en de verdeling wordt smaller en klokvormiger naarmate n groter wordt (centrale limietstelling).
• Bootstrap: uit maximaal 200 ingetypte waarden worden steeds weer nieuwe steekproeven getrokken met teruglegging (even groot als de reeks), waarbij telkens het gemiddelde wordt genoteerd. Het percentielinterval (kwantielen van R-type 7) wordt naast het t-interval getoond. Bij minder dan 10 waarden is het percentielinterval vaak te smal.
• Randomisatie: twee groepen (elk tot 100 waarden) worden steeds opnieuw geschud, waarbij telkens het verschil tussen de gemiddelden wordt genoteerd. De p-waarde is (aantal verschillen dat minstens even groot is + 1) / (schuddingen + 1), zodat ze nooit precies 0 is. Als er hoogstens 20.000 mogelijke verdelingen zijn, wordt ook alles geteld (dan zonder de “+1”). De Welch-t-toets wordt ter vergelijking ernaast getoond.
• Kansexperimenten: munt, een of twee dobbelstenen (zuiver of vals) en vaas met of zonder teruglegging, tot 100.000 herhalingen. Het verloop toont de relatieve frequentie tegenover de kans (wet van de grote aantallen); de tabel zet frequenties en exacte kansen naast elkaar.
• Kruistabel (2 × 2) en boom: uit prevalentie, sensitiviteit en specificiteit (of uit vier frequenties) bouwt de tegel de tabel, een boom met natuurlijke frequenties (natural frequencies), de omgekeerde boom, de voorspellende waarden (PPV, NPV) met de berekening van Bayes stap voor stap en een controle op onafhankelijkheid. De referentiegrootte wordt zo gekozen dat alle getallen geheel zijn (tot 1.000.000); anders worden decimalen getoond, nooit stilzwijgend afgerond. Voorbeeld: 1%, 90%, 91% geven een PPV van 9,17%: van 981 mensen met een positieve uitslag zijn er maar 90 ziek.
• Betrouwbaarheidsintervallen: 100 intervallen (Wilson voor een proportie, t-interval voor een gemiddelde) boven elkaar, de ware waarde als verticale lijn. Intervallen die dekken zijn dun en doorgetrokken met een cirkel, die niet dekken zijn dik en gestreept met een ruit. “Nog eens 100” telt door; het totaal nadert het niveau.

Wat “95%” betekent

Het niveau hoort bij de procedure, niet bij een afzonderlijk interval: op de lange termijn dekt zo’n procedure de ware waarde ongeveer 95 keer op de 100; een afzonderlijk interval dekt hem wel of niet.

Wilson en de formule uit het leerboek (Wald)

Statable berekent intervallen voor proporties met Wilson. Leerboeken geven vaak de benadering p̂ ± z·√(p̂(1−p̂)/n) (Wald); dat is de eenvoudige oplossing van de ongelijkheid waarvan de exacte oplossing het Wilson-interval is. Daarom wijkt het getal uit het leerboek iets af. Voorbeeld 7 van 40, 95%: Wilson [0,0875; 0,3195], formule uit het leerboek [0,0572; 0,2928]. Alleen op het tabblad “Betrouwbaarheidsintervallen” kan de formule uit het leerboek ter vergelijking worden aangezet; daar blijkt dat ze bij kleine n en kleine of grote p duidelijk minder vaak dekt dan het niveau (bijvoorbeeld n = 50, p = 5%: Wald 92,0%, Wilson 96,2%).

Grenzen

• Steekproefomvang 1 tot 500, hoogstens 100.000 herhalingen (in stukken berekend zodat de pagina bruikbaar blijft); bootstrapreeksen hoogstens 200 waarden, randomisatie hoogstens 100 per groep.
• De bootstrap behandelt alleen het gemiddelde, de randomisatie alleen het verschil tussen gemiddelden. Geen eigen bestanden, er wordt niets opgeslagen.
• De generator heeft 32 bits; voor heel veel trekkingen (boven 10⁸) zou hij niet meer volstaan, vandaar de bovengrenzen.

Voor specialisten

Generator: mulberry32; deelstromen worden gemengd uit (startwaarde, volgnummer), niet met “+1”. Normale waarden met Box-Muller, discrete verdelingen door inversie van de verdelingsfunctie vanaf de modus naar buiten. Gecontroleerd op eigenschappen met een vaste startwaarde: uniformiteit van de generator (Kolmogorov-Smirnov), chikwadraatpassing van de transformaties op de in R berekende verdelingen, standaardfout, randomisatie tegen volledige opsomming, dekking tegen de exacte dekkingskans (som over dbinom). Percentielinterval: kwantiel type 7 zoals in R. Bayes: zuivere rekenkunde, gecontroleerd tegen R en tegen de diagnostische nauwkeurigheid (diagnostic accuracy) uit gegevens.

Bronnen

• KMK: onderwijsstandaarden wiskunde, algemene toelating tot het hoger onderwijs (Abitur, 2012), leidend idee “gegevens en toeval” (boomdiagrammen, kruistabellen, simulaties, van steekproef naar populatie redeneren).
• Gigerenzer, G. & Hoffrage, U. (1995): How to improve Bayesian reasoning without instruction: frequency formats. Psychological Review 102(4), 684-704.
• Brown, L. D., Cai, T. T. & DasGupta, A. (2001): Interval estimation for a binomial proportion. Statistical Science 16(2), 101-133.
• Phipson, B. & Smyth, G. K. (2010): Permutation p-values should never be zero. Statistical Applications in Genetics and Molecular Biology 9(1).
• Hesterberg, T. C. (2015): What teachers should know about the bootstrap. The American Statistician 69(4).
• Lock, R. H. et al.: StatKey (lock5stat.com); Seeing Theory (Brown University): modellen voor steekproevenverdelingen, bootstrap en randomisatie.