Intraklassz korreláció (ICC)

Az ICC azt mutatja meg, hogy az összes értékelés varianciájának mekkora része tükrözi az esetek közötti valódi különbségeket, és nem az értékelők közötti különbségeket vagy a mérési hibát. A 0 azt jelenti, hogy nincs egyezés, az 1 tökéletes egyezést. Két kérdést kell szétválasztani: azonosak legyenek-e az értékek (abszolút egyezés, ICC(2,·)), vagy megengedett-e állandó különbség az értékelők között (konzisztencia, ICC(3,·))? És egyetlen értékelésre vonatkozik-e („egyedi”), vagy az összes értékelő átlagára („átlag”, megbízhatóbb)? Besorolás Koo és Li (2016) szerint: ,50 alatt gyenge, ,75-ig mérsékelt, ,90-ig jó, afölött kiváló; ők azt javasolják, hogy ehhez a teljes konfidenciaintervallumot vegyük figyelembe.

Példa: Három tanár 12 dolgozatot pontoz: ICC(2,1) = ,74 (95%-os KI ,45 és ,91 között). A pontbecslés egyetlen értékelés mérsékelt egyezésére utal, az intervallum azonban a gyengétől a kiválóig terjed - 12 dolgozat mellett a becslés még pontatlan. A három értékelő átlaga ICC(2,3) = ,89 mellett egyértelműen megbízhatóbb.

Vigyázat: Az ICC kevés eset mellett pontatlan (legalább 30 javasolt), és alacsony lesz, ha az esetek alig különböznek - jó egyezés mellett is. Értelmes távolságokkal rendelkező számokat követel.