Quelque chose a-t-il changé ? (avant/après, test t pour échantillons appariés)

En bref

Les mêmes personnes ont été mesurées deux fois (par exemple un test de connaissances avant et après un cours) ; le but est de vérifier si les valeurs ont changé en moyenne. Choisissez la colonne de la première et celle de la seconde mesure. Statable calcule le test t pour échantillons appariés et donne les tailles d’effet dz et dav avec un intervalle de confiance à 95 %.

Conditions

• Les deux colonnes sont des nombres issus des mêmes personnes, une ligne par personne (pour des données longues, « Restructurer » aide).
• Les changements ne présentent ni asymétrie marquée ni valeurs aberrantes ; le test t tient alors même avec peu de personnes. Il n’existe pas de nombre minimal fixe pour cela.
• Au moins 3 personnes avec les deux valeurs ; le changement n’est pas identique pour tout le monde.

Lire le résultat

• Les différences sont après − avant : positif signifie une augmentation. La page affiche les deux moyennes, le changement moyen avec intervalle de confiance à 95 %, t, degrés de liberté et p.
• dz est le changement moyen divisé par l’écart type des changements ; dav divise par la moyenne des deux écarts types et se compare au d des études à deux groupes. C’est pourquoi le classement (règle empirique pour d : 0,2 petit, 0,5 moyen, 0,8 grand) suit dav. Ces repères ne conviennent pas à dz : dz est d’autant plus grand que l’avant et l’après sont fortement corrélés ; c’est la mesure qui sert à la puissance statistique (Lakens 2013).
• Le graphique en lignes relie l’avant et l’après de chaque personne ; il montre si la plupart des lignes vont dans le même sens.

Remarques sur la page

• Avec n < 20, la remarque « Petit échantillon » apparaît : le résultat est alors moins sûr. Statable recommande un test de rangs dès avant le calcul si les changements sont nettement asymétriques, présentent des valeurs aberrantes ou si la mesure a peu de niveaux (ordinale ou au plus 7 valeurs). On le choisit sous le résultat avec « Pas de distribution normale (test de rangs) » : le test de Wilcoxon, qui n’utilise que l’ordre des rangs des changements (avec médianes, phrase, taille d’effet r et ligne pour votre travail). Il donne aussi la pseudo-médiane du changement (estimateur de Hodges-Lehmann : médiane des moyennes de chaque couple de changements) avec un intervalle de confiance à 95 %.
• Exact ou approché : avec moins de 50 valeurs par groupe (Wilcoxon : moins de 50 paires présentant une différence), Statable calcule la valeur p exacte, aussi avec des valeurs ex aequo (distribution conditionnelle) ; au-delà, l’approximation normale s’applique. Dans le test de Wilcoxon, les paires sans différence sont écartées avant le classement (comme dans SPSS). R calcule le test exact autrement : il classe aussi les paires sans différence (méthode de Pratt). Les valeurs peuvent donc s’écarter de celles de R. Avec de petits effectifs, un niveau d’exactement 95 % ne peut pas être atteint ; Statable indique alors le niveau atteint (achieved confidence level).
• Sans groupe de comparaison, la mesure montre seulement que quelque chose a changé, pas pourquoi.
• Avec un groupe de comparaison (cours contre pas de cours), l’analyse de covariance (ANCOVA) est la voie appropriée : on compare l’après selon le groupe, avec l’avant comme covariable. Sous le résultat, « Y a-t-il un groupe témoin et un groupe d’intervention ? » mène directement à « Les groupes diffèrent-ils ? » avec la valeur avant comme variable de contrôle.

t(13) = 5,10, p < ,001, dz = 1,36, IC à 95 % [0,61 ; 2,09], dav = 0,77

Pour les spécialistes

Wilcoxon : Statable le calcule lui-même (avec moins de 50 changements autres que 0, la valeur p exacte, y compris en cas de changements identiques, sinon l’approximation normale avec correction des ex aequo, sans correction de continuité ; vérifié par rapport à R wilcox.test et à PSPP NPAR TESTS /WILCOXON).

Plus d’options

• Test d’équivalence (TOST) : si le changement est inférieur à une borne fixée à l’avance ; voir « Test d’équivalence (TOST) ».
• Changement fiable pour chaque personne (indice de changement fiable (Reliable Change Index)) : quelles personnes ont changé plus que l’erreur de mesure ne le laisserait attendre ; voir « Indice de changement fiable ».
• Si les deux colonnes sont oui/non, Statable calcule de lui-même le test de McNemar (exact) au lieu du test t ; voir « Test de McNemar et Q de Cochran ».

Exemples typiques

• Anxiété des mêmes étudiants avant et après un cours : test t pour échantillons appariés.
• Score de douleur avant et après un traitement chez 12 personnes : test de rangs (Wilcoxon).
• Temps de réaction sans et avec caféine chez la même personne : test t pour échantillons appariés.