Laboratorium nauki: próby, bootstrap, doświadczenia losowe i tabela krzyżowa 2 × 2 do wypróbowania

W skrócie

Laboratorium nauki rozgrywa przypadek tysiące razy i pokazuje, co z tego wychodzi. Ma sześć zakładek i nie potrzebuje danych. Wszystko, co widać, ma postać wykresu, liczby i zdania; nic nie jest zapisywane.

Ziarno

Wszystkie liczby losowe pochodzą z ziarna u góry (domyślnie 1). To samo ziarno, te same liczby: w ten sposób można powtórzyć przebieg i porównać go z innymi. „Jeszcze raz (nowe ziarno)” zwiększa ziarno o 1 i ponownie uruchamia otwartą zakładkę. Ziarno jest podane w każdym zdaniu. Liczby losowe nie zgadzają się z liczbami z R ani z SPSS; ten sam rozkład, inne liczby.

Sześć zakładek

• Próby: z populacji (normalnej, płaskiej, silnie skośnej, dwuwierzchołkowej, kostka lub proporcja) losuje się do 10 000 prób o liczebności n. Wykres pokazuje średnie (proporcje dla „proporcji”) wraz z krzywą przewidywaną przez teorię. Błąd standardowy z symulacji jest bliski σ/√n, a rozkład staje się coraz węższy i bardziej dzwonowaty w miarę wzrostu n (centralne twierdzenie graniczne).
• Bootstrap: z wpisanych do 200 wartości wielokrotnie losuje się nowe próby ze zwracaniem (o tej samej liczebności co szereg), za każdym razem zapisując średnią. Przedział percentylowy (kwantyle typu 7 z R) jest pokazany obok przedziału t. Przy mniej niż 10 wartościach przedział percentylowy bywa zbyt wąski.
• Randomizacja: dwie grupy (do 100 wartości każda) są tasowane raz za razem, za każdym razem zapisywana jest różnica średnich. Wartość p wynosi (liczba co najmniej tak dużych różnic + 1) / (liczba tasowań + 1), tak aby nigdy nie była dokładnie równa 0. Jeśli możliwych podziałów jest co najwyżej 20 000, zliczane jest też wszystko (wtedy bez „+1”). Obok dla porównania pokazany jest test t Welcha.
• Doświadczenia losowe: moneta, jedna lub dwie kostki (uczciwe lub obciążone) i urna ze zwracaniem lub bez, do 100 000 powtórzeń. Przebieg pokazuje częstość względną na tle prawdopodobieństwa (prawo wielkich liczb); tabela zestawia obok siebie częstości i dokładne prawdopodobieństwa.
• Tabela krzyżowa 2 × 2 i drzewo: z prewalencji, czułości i swoistości (lub z czterech liczebności) kafelek buduje tabelę, drzewo z częstościami naturalnymi (natural frequencies), drzewo odwrócone, wartości predykcyjne (PPV, NPV) z obliczeniem Bayesa krok po kroku oraz sprawdzenie niezależności. Wielkość odniesienia dobierana jest tak, aby wszystkie liczby były całkowite (do 1 000 000); w przeciwnym razie pokazywane są liczby dziesiętne, nigdy po cichu zaokrąglane. Przykład: 1%, 90%, 91% dają PPV 9,17%: spośród 981 osób z wynikiem dodatnim chorych jest tylko 90.
• Przedziały ufności: 100 przedziałów (Wilson dla proporcji, przedział t dla średniej) ułożonych jeden pod drugim, prawdziwa wartość jako pionowa linia. Przedziały, które obejmują, są cienkie i ciągłe z kółkiem, te, które nie obejmują, są grube i przerywane z rombem. „Jeszcze 100” liczy dalej; suma zbliża się do poziomu.

Co znaczy „95%”

Poziom dotyczy procedury, a nie pojedynczego przedziału: w długim okresie taka procedura obejmuje prawdziwą wartość około 95 razy na 100; pojedynczy przedział albo ją obejmuje, albo nie.

Wilson i wzór podręcznikowy (Wald)

Statable oblicza przedziały dla proporcji metodą Wilsona. Podręczniki często podają przybliżenie p̂ ± z·√(p̂(1−p̂)/n) (Wald); jest to proste rozwiązanie nierówności, której dokładnym rozwiązaniem jest przedział Wilsona. Dlatego liczba z podręcznika nieco się różni. Przykład 7 z 40, 95%: Wilson [0,0875; 0,3195], wzór podręcznikowy [0,0572; 0,2928]. Tylko w zakładce „Przedziały ufności” można włączyć wzór podręcznikowy dla porównania; pokazuje ona, że przy małym n i małym lub dużym p pokrywa on wyraźnie rzadziej, niż wynosi poziom (na przykład n = 50, p = 5%: Wald 92,0%, Wilson 96,2%).

Ograniczenia

• Liczebność próby od 1 do 500, co najwyżej 100 000 powtórzeń (obliczane porcjami, aby strona pozostała użyteczna); szeregi bootstrapu co najwyżej 200 wartości, randomizacja co najwyżej 100 na grupę.
• Bootstrap dotyczy tylko średniej, randomizacja tylko różnicy średnich. Żadnych własnych plików, nic nie jest zapisywane.
• Generator ma 32 bity; przy bardzo wielu losowaniach (ponad 10⁸) przestałby wystarczać, stąd górne limity.

Dla specjalistów

Generator: mulberry32; podstrumienie są mieszane z (ziarno, numer kolejny), a nie „+1”. Wartości normalne metodą Boxa-Mullera, rozkłady dyskretne przez odwracanie dystrybuanty od mody na zewnątrz. Sprawdzone testami własności przy ustalonym ziarnie: jednostajność generatora (test Kołmogorowa-Smirnowa), zgodność chi-kwadrat przekształceń z rozkładami obliczonymi w R, błąd standardowy, randomizacja względem pełnego wyliczenia (complete enumeration), pokrycie względem dokładnego prawdopodobieństwa pokrycia (suma po dbinom) (coverage). Przedział percentylowy: kwantyl typu 7 jak w R. Bayes: czysta arytmetyka, sprawdzona względem R i względem dokładności diagnostycznej obliczonej z danych.

Źródła

• KMK: standardy edukacyjne z matematyki, ogólne uprawnienie do podjęcia studiów (2012), idea przewodnia „dane i przypadek” (drzewa stochastyczne, tabele krzyżowe 2 × 2, symulacje, wnioskowanie z prób o populacji).
• Gigerenzer, G. & Hoffrage, U. (1995): How to improve Bayesian reasoning without instruction: frequency formats. Psychological Review 102(4), 684-704.
• Brown, L. D., Cai, T. T. & DasGupta, A. (2001): Interval estimation for a binomial proportion. Statistical Science 16(2), 101-133.
• Phipson, B. & Smyth, G. K. (2010): Permutation p-values should never be zero. Statistical Applications in Genetics and Molecular Biology 9(1).
• Hesterberg, T. C. (2015): What teachers should know about the bootstrap. The American Statistician 69(4).
• Lock, R. H. i in.: StatKey (lock5stat.com); Seeing Theory (Brown University): modele rozkładów próbkowania, bootstrapu i randomizacji.