Kappa de Cohen (κ)

Kappa muestra lo bien que concuerdan dos evaluadores una vez eliminada la concordancia que se produciría solo por adivinar. κ = 0 significa que no es mejor que el azar; κ = 1, concordancia perfecta. Con niveles ordenados (notas) se puede ponderar para que un error por poco cuente menos que una gran diferencia. Clasificación según Landis y Koch (1977): hasta ,20 leve, hasta ,40 aceptable, hasta ,60 moderada, hasta ,80 sustancial, por encima casi perfecta.

Ejemplo: Dos docentes califican 30 redacciones: las notas coinciden en el 63 %, κ = ,50 (IC del 95 % ,26 a ,74): concordancia moderada.

Precaución: κ depende de la distribución de las categorías: si una categoría es muy rara o muy frecuente, κ es bajo a pesar de una concordancia alta. Los umbrales de Landis y Koch son reglas generales, no límites.