Współczynnik korelacji wewnątrzklasowej (ICC)

ICC pokazuje, jaka część różnic we wszystkich ocenach wynika z rzeczywistych różnic między przypadkami - a nie z osób oceniających lub z błędu pomiaru. 0 oznacza brak zgodności, 1 pełną zgodność. Trzeba rozróżnić dwa pytania: czy wartości mają być takie same (zgodność bezwzględna, ICC(2,·)), czy dopuszczalna jest stała różnica między osobami oceniającymi (spójność, ICC(3,·))? I czy chodzi o pojedynczą ocenę („pojedyncza”), czy o średnią wszystkich oceniających („średnia”, rzetelniejsza)? Podział według Koo i Li (2016): poniżej ,50 słaba, do ,75 umiarkowana, do ,90 dobra, powyżej doskonała; autorzy zalecają, by brać przy tym pod uwagę cały przedział ufności.

Przykład: Troje nauczycieli ocenia 12 wypracowań w punktach: ICC(2,1) = ,74 (95% CI ,45 do ,91). Oszacowanie punktowe wskazuje na umiarkowaną zgodność pojedynczej oceny; przedział sięga jednak od słabej do doskonałej - przy 12 wypracowaniach oszacowanie jest jeszcze nieprecyzyjne. Średnia z trzech jest wyraźnie rzetelniejsza przy ICC(2,3) = ,89.

Ostrożnie: ICC jest nieprecyzyjne przy niewielu przypadkach (zalecane co najmniej 30) i wychodzi niskie, gdy przypadki prawie się nie różnią - nawet przy dobrej zgodności. Wymaga liczb o sensownych odległościach.