Cohens Kappa (κ)

Kappa zeigt, wie gut zwei Beurteilende übereinstimmen, nachdem man herausgerechnet hat, was bei reinem Raten ohnehin übereinstimmen würde. κ = 0 heißt: nicht besser als Zufall; κ = 1: vollständige Übereinstimmung. Bei geordneten Stufen (Noten) lässt sich gewichten, damit eine knappe Abweichung weniger zählt als eine große. Einordnung nach Landis und Koch (1977): bis ,20 gering, bis ,40 ausreichend, bis ,60 mäßig, bis ,80 beachtlich, darüber fast vollkommen.

Beispiel: Zwei Lehrkräfte benoten 30 Aufsätze: Bei 63 % stimmen die Noten überein, κ = ,50 (95 %-KI ,26 bis ,74): mäßige Übereinstimmung.

Vorsicht: κ hängt von der Verteilung der Kategorien ab: Ist eine Kategorie sehr selten oder sehr häufig, fällt κ trotz hoher Übereinstimmung niedrig aus. Die Schwellen nach Landis und Koch sind Faustregeln, keine Grenzen.