Intraklassen-Korrelation (ICC)

Der ICC zeigt, welcher Anteil der Unterschiede in allen Urteilen auf echte Unterschiede zwischen den Fällen zurückgeht - und nicht auf die Beurteilenden oder auf Messfehler. 0 heißt: keine Übereinstimmung, 1: vollständige. Zwei Fragen sind zu unterscheiden: Sollen die Werte gleich sein (absolute Übereinstimmung, ICC(2,·)), oder darf ein fester Unterschied zwischen den Beurteilenden bestehen (Konsistenz, ICC(3,·))? Und gilt das Urteil für ein einzelnes Urteil („Einzel“) oder für den Mittelwert aller Beurteilenden („Mittelwert“, verlässlicher)? Einordnung nach Koo und Li (2016): unter ,50 gering, bis ,75 mäßig, bis ,90 gut, darüber ausgezeichnet; sie empfehlen, dabei das ganze Konfidenzintervall zu betrachten.

Beispiel: Drei Lehrkräfte bewerten 12 Aufsätze mit Punkten: ICC(2,1) = ,74 (95 %-KI ,45 bis ,91). Der Schätzwert spricht für mäßige Übereinstimmung eines einzelnen Urteils; das Intervall reicht aber von gering bis ausgezeichnet - mit 12 Aufsätzen ist das noch ungenau. Der Mittelwert der drei ist mit ICC(2,3) = ,89 deutlich verlässlicher.

Vorsicht: Der ICC ist bei wenigen Fällen ungenau (mindestens 30 empfohlen) und fällt niedrig aus, wenn die Fälle sich kaum unterscheiden - auch bei guter Übereinstimmung. Er setzt Zahlen mit sinnvollen Abständen voraus.