Каппа Коена (κ)

Каппа показує, наскільки добре узгоджуються двоє оцінювачів, якщо відняти збіги, що виникли б лише від вгадування. κ = 0 означає: не краще за випадковість; κ = 1: ідеальна узгодженість. Для впорядкованих рівнів (оцінок) можна застосувати зважування, щоб майже влучання враховувалося менше, ніж велика різниця. Класифікація за Лендісом і Кохом (1977): до ,20 незначна, до ,40 задовільна, до ,60 помірна, до ,80 суттєва, вище - майже досконала.

Приклад: Двоє вчителів оцінюють 30 есе: оцінки збігаються в 63% випадків, κ = ,50 (95% ДІ від ,26 до ,74): помірна узгодженість.

Обережно: κ залежить від розподілу категорій: якщо одна категорія дуже рідкісна чи дуже поширена, κ низька попри високу узгодженість. Межі Лендіса й Коха - емпіричні правила, а не жорсткі межі.