Kappa de Cohen (κ)

Le kappa indique à quel point deux juges s’accordent, une fois retiré l’accord qu’on obtiendrait par le seul hasard. κ = 0 signifie : pas mieux que le hasard ; κ = 1 : accord parfait. Pour des niveaux ordonnés (notes), on peut le pondérer pour qu’un écart minime compte moins qu’un grand écart. Classification d’après Landis et Koch (1977) : jusqu’à ,20 faible, jusqu’à ,40 passable, jusqu’à ,60 modéré, jusqu’à ,80 substantiel, au-delà presque parfait.

Exemple: Deux enseignantes notent 30 dissertations : les notes concordent pour 63 %, κ = ,50 (IC à 95 % [,26 ; ,74]) : accord modéré.

Attention: κ dépend de la répartition des catégories : si une catégorie est très rare ou très fréquente, κ est bas malgré un accord élevé. Les seuils de Landis et Koch sont des règles empiriques, pas des limites.