Cohens kappa (κ)

Kappa laat zien hoe goed twee beoordelaars het eens zijn, nadat de overeenstemming is weggehaald die door gokken alleen zou ontstaan. κ = 0 betekent: niet beter dan toeval; κ = 1: volledige overeenstemming. Bij geordende niveaus (cijfers) kan worden gewogen, zodat een bijna-raak minder zwaar telt dan een groot verschil. Indeling naar Landis en Koch (1977): tot ,20 gering, tot ,40 redelijk, tot ,60 matig, tot ,80 aanzienlijk, daarboven bijna perfect.

Voorbeeld: Twee docenten beoordelen 30 essays: de cijfers komen in 63% overeen, κ = ,50 (95%-BI ,26 tot ,74): matige overeenstemming.

Let op: κ hangt af van de verdeling van de categorieën: als een categorie heel zeldzaam of heel gewoon is, is κ laag ondanks hoge overeenstemming. De grenzen van Landis en Koch zijn vuistregels, geen harde grenzen.