Cohens kappa (κ)

Kappa visar hur väl två bedömare överensstämmer sedan den överensstämmelse som skulle uppstå enbart genom gissning har tagits bort. κ = 0 betyder: inte bättre än slumpen; κ = 1: perfekt överensstämmelse. Vid ordnade nivåer (betyg) kan den viktas så att ett litet missat steg väger mindre än en stor skillnad. Indelning enligt Landis och Koch (1977): upp till ,20 obetydlig, upp till ,40 skaplig, upp till ,60 måttlig, upp till ,80 betydande, därutöver nästan perfekt.

Exempel: Två lärare sätter betyg på 30 uppsatser: betygen stämmer överens i 63 %, κ = ,50 (95 % KI ,26 till ,74): måttlig överensstämmelse.

Se upp: κ beror på hur kategorierna fördelar sig: om en kategori är mycket sällsynt eller mycket vanlig blir κ lågt trots hög överensstämmelse. Gränserna enligt Landis och Koch är tumregler, inte skarpa gränser.