Labo d’apprentissage : échantillons, bootstrap, expériences aléatoires et tableau croisé d’effectifs à essayer

En bref

Le labo d’apprentissage rejoue le hasard des milliers de fois et montre ce qui en ressort. Il comporte six onglets et ne nécessite aucune donnée. Tout ce qui est affiché se présente sous forme de graphique, de nombre et de phrase ; rien n’est enregistré.

La graine

Tous les nombres aléatoires proviennent de la graine indiquée en haut (1 par défaut). Même graine, mêmes nombres : c’est ainsi qu’une exécution peut être répétée et comparée à d’autres. « Recommencer (nouvelle graine) » augmente la graine de 1 et relance l’onglet ouvert. La graine est indiquée dans chaque phrase. Les nombres aléatoires ne correspondent pas à ceux de R ou de SPSS ; même distribution, autres nombres.

Les six onglets

• Échantillons : jusqu’à 10 000 échantillons de taille n sont tirés dans une population (normale, plate, très asymétrique, à deux modes, dé ou proportion). Le graphique montre les moyennes (les proportions pour « proportion ») avec la courbe prédite par la théorie. L’erreur type issue de la simulation est proche de σ/√n, et la distribution devient plus étroite et plus en cloche à mesure que n augmente (théorème central limite).
• Bootstrap : à partir de 200 valeurs saisies au maximum, de nouveaux échantillons sont tirés encore et encore avec remise (de la même taille que la série), en notant la moyenne à chaque fois. L’intervalle par percentiles (quantiles de type 7 de R) est affiché à côté de l’intervalle t. Avec moins de 10 valeurs, l’intervalle par percentiles est souvent trop étroit.
• Randomisation : deux groupes (jusqu’à 100 valeurs chacun) sont mélangés encore et encore, en notant à chaque fois la différence des moyennes. La valeur p est (nombre de différences au moins aussi grandes + 1) / (mélanges + 1), de sorte qu’elle n’est jamais exactement égale à 0. S’il y a au plus 20 000 répartitions possibles, tout est aussi compté (alors sans le « +1 »). Le test t de Welch est affiché à côté à titre de comparaison.
• Expériences aléatoires : pièce, un ou deux dés (équilibrés ou pipés) et urne avec ou sans remise, jusqu’à 100 000 répétitions. L’évolution montre la fréquence relative par rapport à la probabilité (loi des grands nombres) ; le tableau met côte à côte les effectifs et les probabilités exactes.
• Tableau croisé d’effectifs et arbre : à partir de la prévalence, de la sensibilité et de la spécificité (ou de quatre effectifs), la vignette construit le tableau, un arbre avec des fréquences naturelles, l’arbre inversé, les valeurs prédictives (VPP, VPN) avec le calcul de Bayes pas à pas et un contrôle d’indépendance. L’effectif de référence est choisi pour que tous les nombres soient entiers (jusqu’à 1 000 000) ; sinon des décimales sont affichées, jamais arrondies en silence. Exemple : 1 %, 90 %, 91 % donnent une VPP de 9,17 % : sur 981 personnes au test positif, seules 90 sont malades.
• Intervalles de confiance : 100 intervalles (Wilson pour une proportion, intervalle t pour une moyenne) empilés, la vraie valeur sous forme de ligne verticale. Les intervalles qui couvrent sont fins et pleins avec un cercle, ceux qui ne couvrent pas sont épais et en pointillés avec un losange. « Encore 100 » poursuit le décompte ; le total se rapproche du niveau.

Ce que signifie « 95 % »

Le niveau appartient au procédé, pas à un intervalle isolé : à long terme, un tel procédé couvre la vraie valeur environ 95 fois sur 100 ; un intervalle isolé la couvre ou ne la couvre pas.

Wilson et la formule du manuel (Wald)

Statable calcule les intervalles pour des proportions avec Wilson. Les manuels donnent souvent l’approximation p̂ ± z·√(p̂(1−p̂)/n) (Wald) ; c’est la solution simple de l’inégalité dont la solution exacte est l’intervalle de Wilson. C’est pourquoi le nombre du manuel diffère légèrement. Exemple 7 sur 40, 95 % : Wilson [0,0875 ; 0,3195], formule du manuel [0,0572 ; 0,2928]. Ce n’est que dans l’onglet « Intervalles de confiance » que la formule du manuel peut être activée à titre de comparaison ; elle y montre qu’avec un petit n et un p petit ou grand, elle couvre nettement moins souvent que le niveau (par exemple n = 50, p = 5 % : Wald 92,0 %, Wilson 96,2 %).

Limites

• Taille d’échantillon de 1 à 500, au plus 100 000 répétitions (calculées par morceaux pour que la page reste utilisable) ; séries bootstrap d’au plus 200 valeurs, randomisation d’au plus 100 par groupe.
• Le bootstrap ne traite que la moyenne, la randomisation seulement la différence de moyennes. Pas de fichiers personnels, rien n’est enregistré.
• Le générateur a 32 bits ; pour un très grand nombre de tirages (plus de 10⁸), il ne suffirait plus, d’où les limites supérieures.

Pour les spécialistes

Générateur : mulberry32 ; les flux secondaires sont mélangés à partir de (graine, numéro d’ordre), et non « +1 ». Valeurs normales par Box-Muller, lois discrètes par inversion de la fonction de répartition du mode vers l’extérieur. Vérifié par des propriétés avec une graine fixe : uniformité du générateur (Kolmogorov-Smirnov), ajustement du khi-deux des transformations aux lois calculées dans R, erreur type, randomisation par rapport à l’énumération complète, couverture par rapport à la probabilité de couverture exacte (somme sur dbinom). Intervalle par percentiles : quantile de type 7 comme dans R. Bayes : arithmétique pure, vérifiée par rapport à R et à la précision diagnostique à partir de données.

Sources

• KMK : standards de formation en mathématiques, baccalauréat allemand (Abitur, 2012), idée directrice « données et hasard » (arbres pondérés, tableaux croisés d’effectifs, simulations, inférence de l’échantillon vers la population).
• Gigerenzer, G. & Hoffrage, U. (1995) : How to improve Bayesian reasoning without instruction: frequency formats. Psychological Review 102(4), 684-704.
• Brown, L. D., Cai, T. T. & DasGupta, A. (2001) : Interval estimation for a binomial proportion. Statistical Science 16(2), 101-133.
• Phipson, B. & Smyth, G. K. (2010) : Permutation p-values should never be zero. Statistical Applications in Genetics and Molecular Biology 9(1).
• Hesterberg, T. C. (2015) : What teachers should know about the bootstrap. The American Statistician 69(4).
• Lock, R. H. et al. : StatKey (lock5stat.com) ; Seeing Theory (Brown University) : modèles pour les distributions d’échantillonnage, le bootstrap et la randomisation.