Intraclasscorrelatie (ICC)

De ICC laat zien welk deel van de variantie in alle beoordelingen echte verschillen tussen de gevallen weerspiegelt, en niet verschillen tussen beoordelaars of meetfout. 0 betekent geen overeenstemming, 1 volledige overeenstemming. Er moeten twee vragen worden onderscheiden: moeten de waarden gelijk zijn (absolute overeenstemming, ICC(2,·)), of mag er een vast verschil tussen de beoordelaars bestaan (consistentie, ICC(3,·))? En gaat het om één beoordeling (“enkel”) of om het gemiddelde van alle beoordelaars (“gemiddelde”, betrouwbaarder)? Indeling volgens Koo en Li (2016): onder ,50 slecht, tot ,75 matig, tot ,90 goed, daarboven uitstekend; zij raden aan daarbij het hele betrouwbaarheidsinterval te bekijken.

Voorbeeld: Drie docenten geven 12 essays punten: ICC(2,1) = ,74 (95%-BI ,45 tot ,91). De puntschatting wijst op matige overeenstemming van een enkele beoordeling; het interval loopt echter van slecht tot uitstekend - met 12 essays is de schatting nog onnauwkeurig. Het gemiddelde van de drie is met ICC(2,3) = ,89 duidelijk betrouwbaarder.

Let op: De ICC is onnauwkeurig bij weinig gevallen (minstens 30 aanbevolen) en valt laag uit als de gevallen nauwelijks verschillen - ook bij goede overeenstemming. Ze vereist getallen met zinvolle afstanden.