Accord entre codeurs (Fleiss, Krippendorff, Brennan-Prediger)

À quoi cela sert

Plusieurs personnes ont rangé les mêmes unités (passages de texte, réponses ouvertes) dans des catégories ; on vérifie la fiabilité du codage. On choisit les colonnes (une par codeur, une ligne par unité) sous « Les évaluations concordent-elles ? ». Statable affiche le κ de Cohen (deux codeurs) ou le κ de Fleiss (à partir de trois), l’α de Krippendorff, l’accord en pourcentage (percent agreement) et Brennan-Prediger.

Conditions

• Codé de manière indépendante. Depuis MAXQDA : exporter les codes par segment sous forme de tableau.
• Catégories sous forme de texte ou de codes numériques. Les lacunes sont admises ; les unités n’ayant qu’un seul codage sont signalées, α les écarte.
• L’échelle de α suit le niveau de mesure des colonnes (mixte : le plus bas ; texte : nominal).

Comment lire le résultat

• κ avec un intervalle à 95  ; les libellés de Landis et Koch (1977) sont une convention. Avec deux codeurs, le κ de Fleiss serait le π de Scott et non le κ de Cohen ; dans ce cas Statable affiche le κ de Cohen.
• α : fiable à partir de ,800, de ,667 à ,800 seulement des conclusions provisoires, en dessous non fiable (Krippendorff, 2004).
• Paradoxe du kappa (kappa paradox) : accord à partir de 90 , κ inférieur à ,40, à cause d’une catégorie rare. Brennan-Prediger (accord attendu par hasard 1/q) n’en dépend pas.

Comment rendre compte

κ de Fleiss = ,52, IC à 95  [,41 ; ,63] ; α (nominal) = ,534, IC à 95  [,421 ; ,647] ; 40 unités, 3 codeurs

Limites

• κ dépend de la fréquence des catégories. α métrique (intervalle) suppose des écarts égaux entre les valeurs ; ordinal n’utilise que l’ordre. Intervalles d’après Gwet (2014), sans bootstrap.

Sources

Kuckartz et Rädiker (2022), Qualitative Inhaltsanalyse ; Krippendorff (2004), Human Communication Research 30(3) ; Gwet (2014), Handbook of Inter-Rater Reliability ; Fleiss (1971), Psychological Bulletin 76(5) ; Brennan et Prediger (1981), Educational and Psychological Measurement 41(3) ; Landis et Koch (1977), Biometrics 33(1).