Laboratoř učení: výběry, bootstrap, náhodné pokusy a čtyřpolní tabulka k vyzkoušení

Stručně

Laboratoř učení odehrává náhodu tisíckrát a ukazuje, co z toho vyjde. Má šest karet a nepotřebuje data. Vše, co se zobrazí, přichází jako obrázek, číslo a věta; nic se neukládá.

Počáteční hodnota

Všechna náhodná čísla pocházejí z počáteční hodnoty nahoře (výchozí 1). Stejná počáteční hodnota, stejná čísla: takto lze běh zopakovat a srovnat s jinými. „Znovu (nová počáteční hodnota)“ zvýší počáteční hodnotu o 1 a znovu spustí otevřenou kartu. Počáteční hodnota je uvedena v každé větě. Náhodná čísla se neshodují s čísly z R ani ze SPSS; stejné rozdělení, jiná čísla.

Šest karet

• Výběry: ze základního souboru (normální, plochý, silně zešikmený, dvouvrcholový, kostka nebo podíl) se losuje až 10 000 výběrů o rozsahu n. Obrázek ukazuje průměry (u „podílu“ podíly) s křivkou, kterou předpovídá teorie. Standardní chyba ze simulace je blízká σ/√n a rozdělení se s rostoucím n zužuje a víc se podobá zvonu (centrální limitní věta).
• Bootstrap: z až 200 zadaných hodnot se znovu a znovu losují nové výběry se vracením (stejně velké jako řada), přičemž se pokaždé zaznamená průměr. Percentilový interval (kvantily typu 7 z R) je zobrazen vedle t-intervalu. Při méně než 10 hodnotách je percentilový interval často příliš úzký.
• Randomizace: dvě skupiny (až 100 hodnot v každé) se znovu a znovu zamíchají, přičemž se pokaždé zaznamená rozdíl průměrů. p-hodnota je (počet alespoň tak velkých rozdílů + 1) / (zamíchání + 1), aby nebyla nikdy přesně 0. Pokud existuje nejvýše 20 000 možných rozdělení, počítá se navíc vše (pak bez „+1“). Vedle je pro srovnání zobrazen Welchův t-test.
• Náhodné pokusy: mince, jedna nebo dvě kostky (pravidelné nebo zatížené) a urna se vracením nebo bez vracení, až 100 000 opakování. Průběh ukazuje relativní četnost proti pravděpodobnosti (zákon velkých čísel); tabulka staví vedle sebe četnosti a přesné pravděpodobnosti.
• Čtyřpolní tabulka a strom: z prevalence, senzitivity a specificity (nebo ze čtyř četností) dlaždice sestaví tabulku, strom s přirozenými četnostmi (natural frequencies), obrácený strom, prediktivní hodnoty (PPV, NPV) s Bayesovým výpočtem krok za krokem a kontrolu nezávislosti. Referenční velikost se volí tak, aby všechna čísla byla celá (až do 1 000 000); jinak se zobrazí desetinná místa, nikdy potichu zaokrouhlená. Příklad: 1 %, 90 %, 91 % dávají PPV 9,17 %: z 981 osob s pozitivním výsledkem je nemocných jen 90.
• Intervaly spolehlivosti: 100 intervalů (Wilson pro podíl, t-interval pro průměr) pod sebou, skutečná hodnota jako svislá čára. Intervaly, které pokrývají, jsou tenké a plné s kroužkem, ty, které nepokrývají, jsou tlusté a přerušované s kosočtvercem. „Dalších 100“ počítá dál; celkový podíl se blíží hladině.

Co znamená „95 %“

Hladina patří k postupu, ne k jednotlivému intervalu: v dlouhodobém průměru takový postup pokryje skutečnou hodnotu asi v 95 případech ze 100; jednotlivý interval ji buď pokrývá, nebo ne.

Wilson a učebnicový vzorec (Wald)

Statable počítá intervaly pro podíly podle Wilsona. Učebnice často uvádějí aproximaci p̂ ± z·√(p̂(1−p̂)/n) (Wald); je to jednoduché řešení nerovnosti, jejímž přesným řešením je Wilsonův interval. Proto se číslo z učebnice mírně liší. Příklad 7 ze 40, 95 %: Wilson [0,0875; 0,3195], učebnicový vzorec [0,0572; 0,2928]. Jen na kartě „Intervaly spolehlivosti“ lze učebnicový vzorec pro srovnání zapnout; ukazuje se tam, že při malém n a malém nebo velkém p pokrývá zřetelně méně často, než činí hladina (například n = 50, p = 5 %: Wald 92,0 %, Wilson 96,2 %).

Omezení

• Rozsah výběru 1 až 500, nejvýše 100 000 opakování (počítáno po částech, aby stránka zůstala použitelná); řady bootstrapu nejvýše 200 hodnot, randomizace nejvýše 100 na skupinu.
• Bootstrap se týká jen průměru, randomizace jen rozdílu průměrů. Žádné vlastní soubory, nic se neukládá.
• Generátor má 32 bitů; pro velmi mnoho losování (nad 10⁸) by už nestačil, proto horní meze.

Pro odborníky

Generátor: mulberry32; dílčí toky se míchají z (počáteční hodnota, pořadové číslo), ne „+1“. Normální hodnoty podle Boxe-Mullera, diskrétní rozdělení inverzí distribuční funkce od modu směrem ven. Ověřeno testy vlastností při pevné počáteční hodnotě: rovnoměrnost generátoru (Kolmogorovův-Smirnovův test), shoda transformací s rozděleními spočtenými v R podle chí-kvadrátu, standardní chyba, randomizace vůči úplnému výčtu (complete enumeration), pokrytí vůči přesné pravděpodobnosti pokrytí (coverage probability) (součet přes dbinom). Percentilový interval: kvantil typu 7 jako v R. Bayes: čistá aritmetika, ověřená vůči R a vůči diagnostické přesnosti z dat.

Zdroje

• KMK: vzdělávací standardy z matematiky, všeobecná kvalifikace pro vysokoškolské studium (2012), vůdčí idea „data a náhoda“ (pravděpodobnostní stromy, čtyřpolní tabulky, simulace, usuzování z výběrů na základní soubor).
• Gigerenzer, G. & Hoffrage, U. (1995): How to improve Bayesian reasoning without instruction: frequency formats. Psychological Review 102(4), 684-704.
• Brown, L. D., Cai, T. T. & DasGupta, A. (2001): Interval estimation for a binomial proportion. Statistical Science 16(2), 101-133.
• Phipson, B. & Smyth, G. K. (2010): Permutation p-values should never be zero. Statistical Applications in Genetics and Molecular Biology 9(1).
• Hesterberg, T. C. (2015): What teachers should know about the bootstrap. The American Statistician 69(4).
• Lock, R. H. a kol.: StatKey (lock5stat.com); Seeing Theory (Brown University): modely pro výběrová rozdělení, bootstrap a randomizaci.