Stimmen Beurteilungen überein? (Kappa, ICC, Bland-Altman)

Kurz

Mehrere Beurteilende (zum Beispiel zwei Lehrkräfte) oder zwei Messmethoden haben dieselben Fälle beurteilt; geprüft wird, wie gut die Werte übereinstimmen. Gewählt werden die Spalten, eine je Beurteilende, mindestens zwei. Statable wählt zwischen Cohens Kappa (zwei Spalten mit Kategorien), Fleiss' Kappa mit Krippendorffs Alpha (drei und mehr Spalten mit Kategorien; Artikel „Intercoder-Übereinstimmung“) und der Intraklassen-Korrelation (ICC, Zahlen) und gibt ein Konfidenzintervall an; bei genau zwei Zahlenspalten kommt die Bland-Altman-Analyse als zuklappbarer Zusatz dazu. PSPP kennt keinen ICC; Statable rechnet ihn selbst.

Kappa oder ICC

• Cohens Kappa (κ): bei genau zwei Spalten mit Kategorien (Text, nominale Spalten oder Zahlen mit höchstens 7 verschiedenen Werten, etwa Noten). Kappa zählt, wie oft beide dasselbe urteilen, und zieht ab, was der Zufall allein ergäbe. Bei geordneten Kategorien lässt es sich gewichten (linear oder quadratisch).
• ICC: bei Zahlenspalten mit vielen Werten (zum Beispiel Punkte) und bei mehr als zwei Beurteilenden. Absolute Übereinstimmung (Standard) verlangt gleiche Werte. Konsistenz lässt einen festen Unterschied zwischen den Beurteilenden zu (jemand vergibt durchweg 2 Punkte mehr), verlangt aber gleiche Abstände; Einzelurteil oder Mittelwert aller Beurteilenden (verlässlicher).
• Fleiss' Kappa und Krippendorffs Alpha: bei drei und mehr Spalten mit Kategorien. Bei genau zwei Spalten steht Krippendorffs Alpha unter Cohens Kappa; dazu kommen prozentuale Übereinstimmung und der Brennan-Prediger-Koeffizient. Fehlende Kodierungen sind dabei erlaubt (siehe „Intercoder-Übereinstimmung“).
• Bei Zahlenspalten lässt sich im Blatt zwischen Kappa und ICC umschalten.

Bland-Altman: wie groß sind die Unterschiede?

Der ICC setzt die Abweichungen ins Verhältnis zu den Unterschieden zwischen den Fällen; wie groß sie in der Einheit der Messung sind, sagt er nicht. Das Diagramm zeigt für jeden Fall den Mittelwert beider Werte (waagerecht) und ihre Differenz (senkrecht, erste minus zweite Spalte). Der Bias ist die mittlere Differenz, ein fester Unterschied der Verfahren. Zwischen den Übereinstimmungsgrenzen (Bias ± 1,96 SD) liegen etwa 95 % der Differenzen. Ob diese Spanne klein genug ist, entscheidet das Fach. Steigt oder fällt die Differenz mit dem Mittelwert (Steigung mit p < ,05), gelten die Grenzen nicht überall gleich gut.

Bei genau zwei Zahlenspalten steht daneben, zugeklappt, der Typical Error: Er gilt für zwei Messungen derselben Personen ohne Eingriff dazwischen und zeigt, wie weit eine einzelne Messung typischerweise danebenliegt. Seine Änderung des Mittelwerts ist ausdrücklich „zweite minus erste Messung“; Bland-Altman rechnet erste minus zweite, dort hat dieselbe Zahl das umgekehrte Vorzeichen. Mehr im Artikel „Messgenauigkeit: Typical Error“.

Methodenvergleich: Passing-Bablok und Deming

Bei genau zwei Zahlenspalten (zwei Messverfahren) steht neben Bland-Altman, zugeklappt, der Methodenvergleich: Er zeigt, ob die Verfahren um einen festen Betrag oder um einen Faktor voneinander abweichen, mit Passing-Bablok und Deming (λ sichtbar und wählbar). Mehr im Artikel „Zwei Messverfahren vergleichen“.

Voraussetzungen

• Alle Beurteilenden haben dieselben Fälle beurteilt. Der ICC und Bland-Altman rechnen nur mit vollständigen Fällen; das Blatt nennt die Zahl der ausgelassenen.
• Kappa: gleiche Kategorien in allen Spalten. ICC: Zahlen mit sinnvollen Abständen.
• Bei n < 30 erscheint „Wenige Fälle“; Bland und Altman empfehlen für die Grenzen mindestens 100.

Ergebnis lesen

• Kappa nach Landis und Koch (1977): bis ,20 gering, bis ,40 ausreichend, bis ,60 mäßig, bis ,80 beachtlich, darüber fast vollkommen; unter 0 schlechter als Zufall.
• ICC nach Koo und Li (2016): unter ,50 gering, bis ,75 mäßig, bis ,90 gut, darüber ausgezeichnet; sie empfehlen, dabei das ganze Intervall zu betrachten.
• Alle Einordnungen sind Faustregeln.

Kappa: κ (quadratisch) = ,50, p < ,001, 95 %-KI [,26; ,74], n = 30

ICC(2,1) = ,74, 95 %-KI [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 Beurteilende, 12 Fälle)

Bland-Altman: Bias = −0,33, 95 %-KI [−0,98; 0,32]; Übereinstimmungsgrenzen [−2,64; 1,97] (2 Messgeräte, 15 Fälle)

Für Fachleute

Absolute Übereinstimmung entspricht ICC(2,·), Konsistenz ICC(3,·). Kappa über CROSSTABS /STATISTICS=KAPPA. Bland-Altman: Bias mit t-Intervall; die Intervalle der Grenzen sind exakt nach Carkeet (2015, nichtzentrale t-Verteilung) und damit etwas weiter und unsymmetrisch gegenüber der Näherung von Bland und Altman (1999); R BlandAltmanLeh rechnet mit der gröberen Näherung s·√(3/n). Ab n = 234 wird die Näherung von 1999 verwendet.

Typische Beispiele

• Zwei Lehrkräfte benoten dieselben 30 Aufsätze: Kappa (bei Noten gewichtet).
• Drei Beurteilende geben Punkte für dieselben Kinder: ICC.
• Zwei Messgeräte messen dieselben Personen: Bland-Altman.