Kappa di Cohen (κ)

Il kappa mostra quanto bene concordano due valutatori dopo aver tolto la concordanza che si avrebbe già solo tirando a indovinare. κ = 0 significa: non meglio del caso; κ = 1: concordanza perfetta. Con livelli ordinati (voti) può essere ponderato, così che uno scarto lieve conti meno di una grande differenza. Classificazione secondo Landis e Koch (1977): fino a ,20 lieve, fino a ,40 discreta, fino a ,60 moderata, fino a ,80 sostanziale, oltre quasi perfetta.

Esempio: Due insegnanti valutano 30 elaborati: i voti coincidono nel 63% dei casi, κ = ,50 (IC al 95% da ,26 a ,74): concordanza moderata.

Attenzione: κ dipende dalla distribuzione delle categorie: se una categoria è molto rara o molto frequente, κ è basso nonostante un’alta concordanza. Le soglie di Landis e Koch sono regole empiriche, non limiti.