Kappa de Cohen (κ)

O kappa mostra o grau de concordância entre dois avaliadores depois de retirada a concordância que surgiria só por adivinhação. κ = 0 significa: não melhor do que o acaso; κ = 1: concordância perfeita. Com níveis ordenados (notas), pode ser ponderado, de modo que um quase acerto pese menos do que uma grande diferença. Classificação segundo Landis e Koch (1977): até ,20 fraca, até ,40 razoável, até ,60 moderada, até ,80 substancial, acima disso quase perfeita.

Exemplo: Dois professores classificam 30 textos: as notas coincidem em 63%, κ = ,50 (IC a 95% ,26 a ,74): concordância moderada.

Atenção: κ depende da distribuição das categorias: se uma categoria for muito rara ou muito frequente, κ é baixo apesar de a concordância ser elevada. Os limiares de Landis e Koch são regras práticas, não fronteiras.