Les évaluations concordent-elles ? (kappa, ICC, Bland-Altman)

En bref

Plusieurs évaluateurs (par exemple deux enseignants) ou deux méthodes de mesure ont évalué les mêmes cas ; on vérifie dans quelle mesure les valeurs concordent. On choisit les colonnes, une par évaluateur, au moins deux. Statable choisit entre le kappa de Cohen (deux colonnes de catégories), le kappa de Fleiss avec l’alpha de Krippendorff (Krippendorff’s alpha, trois colonnes de catégories ou plus ; article « Accord entre codeurs ») et la corrélation intraclasse (ICC, nombres) et fournit un intervalle de confiance ; avec exactement deux colonnes de nombres s’ajoute l’analyse de Bland-Altman, comme complément repliable. PSPP ne connaît pas l’ICC ; Statable le calcule lui-même.

Kappa ou ICC

• Kappa de Cohen (κ) : avec exactement deux colonnes de catégories (texte, colonnes nominales ou nombres avec au plus 7 valeurs distinctes, comme des notes). Kappa compte à quelle fréquence les deux donnent la même évaluation et soustrait ce que le hasard seul donnerait. Avec des catégories ordonnées, il peut être pondéré (linéaire ou quadratique).
• ICC : pour des colonnes de nombres avec beaucoup de valeurs (par exemple des points) et avec plus de deux juges. L’accord absolu (absolute agreement) (par défaut) exige des valeurs identiques. La cohérence admet une différence constante entre les juges (un juge donne toujours 2 points de plus), mais exige les mêmes écarts ; évaluation unique ou moyenne de tous les juges (plus fiable).
• Kappa de Fleiss et alpha de Krippendorff (Krippendorff’s alpha) : à partir de trois colonnes de catégories. Avec exactement deux colonnes, l’alpha de Krippendorff figure sous le kappa de Cohen ; s’y ajoutent l’accord en pourcentage (percent agreement) et le coefficient de Brennan-Prediger (Brennan-Prediger coefficient). Les codages manquants sont admis (voir « Accord entre codeurs »).
• Avec des colonnes de nombres, la page permet de passer du kappa à l’ICC.

Bland-Altman : quelle est la taille des différences ?

L’ICC rapporte les écarts aux différences entre les observations ; il ne dit pas quelle est leur taille dans l’unité de mesure. Le graphique montre pour chaque observation la moyenne des deux valeurs (horizontal) et leur différence (vertical, première colonne moins la deuxième). Le biais est la différence moyenne, un décalage constant entre les méthodes. Environ 95 % des différences se situent entre les limites de concordance (biais ± 1,96 SD). Savoir si cette étendue est assez petite, c’est à la discipline d’en décider. Si la différence augmente ou diminue avec la moyenne (pente avec p < ,05), les limites ne valent pas aussi bien partout.

Pour exactement deux colonnes numériques, la typical error figure à côté, repliée : elle s’applique à deux mesures des mêmes personnes sans intervention entre les deux et montre de combien une mesure isolée s’écarte typiquement. Sa variation de la moyenne est explicitement « deuxième moins première mesure » ; Bland-Altman calcule première moins deuxième, où le même chiffre a le signe opposé. Plus de détails dans l’article « Précision de la mesure : typical error ».

Comparaison de méthodes : Passing-Bablok et Deming

Avec exactement deux colonnes numériques (deux méthodes de mesure), la comparaison de méthodes figure à côté de Bland-Altman, repliée : elle montre si les méthodes diffèrent d’une quantité fixe ou d’un facteur, avec Passing-Bablok et Deming (λ visible et réglable). Plus de détails dans l’article « Comparer deux méthodes de mesure ».

Conditions

• Tous les juges ont évalué les mêmes cas. L’ICC et Bland-Altman n’utilisent que les observations complètes ; la page indique combien ont été écartées.
• Kappa : les mêmes catégories dans toutes les colonnes. ICC : des nombres avec des intervalles significatifs.
• Avec n < 30, la remarque « Peu d’observations » apparaît ; Bland et Altman recommandent au moins 100 pour les limites.

Lire le résultat

• Kappa d’après Landis et Koch (1977) : jusqu’à ,20 faible, jusqu’à ,40 passable, jusqu’à ,60 modéré, jusqu’à ,80 substantiel, au-delà presque parfait ; en dessous de 0, pire que le hasard.
• ICC d’après Koo et Li (2016) : en dessous de ,50 faible, jusqu’à ,75 modéré, jusqu’à ,90 bon, au-delà excellent ; ils recommandent de considérer l’intervalle entier.
• Toutes les classifications sont des règles empiriques.

Kappa : κ (quadratique) = ,50, p < ,001, IC à 95 % [,26 ; ,74], n = 30

ICC(2,1) = ,74, IC à 95 % [,45 ; ,91] ; F(11, 22) = 9,10, p < ,001 (3 juges, 12 observations)

Bland-Altman : biais = −0,33, IC à 95 % [−0,98 ; 0,32] ; limites de concordance [−2,64 ; 1,97] (2 instruments, 15 observations)

Pour les spécialistes

L’accord absolu (absolute agreement) correspond à ICC(2,·), la cohérence à ICC(3,·). Kappa via CROSSTABS /STATISTICS=KAPPA. Bland-Altman : biais avec un intervalle t ; les intervalles des limites sont exacts d’après Carkeet (2015, distribution t non centrale) et donc un peu plus larges et asymétriques par rapport à l’approximation de Bland et Altman (1999) ; R BlandAltmanLeh utilise l’approximation plus grossière s·√(3/n). À partir de n = 234, l’approximation de 1999 est utilisée.

Exemples typiques

• Deux enseignantes ou enseignants notent les mêmes 30 dissertations : kappa (pondéré pour les notes).
• Trois juges attribuent des points aux mêmes enfants : ICC.
• Deux instruments mesurent les mêmes personnes : Bland-Altman.