Intraklasskorrelation (ICC)

ICC visar hur stor andel av variansen i alla bedömningar som återspeglar verkliga skillnader mellan fallen och inte skillnader mellan bedömare eller mätfel. 0 betyder ingen överensstämmelse, 1 perfekt överensstämmelse. Två frågor ska hållas isär: ska värdena vara lika (absolut överensstämmelse, ICC(2,·)), eller får det finnas en konstant skillnad mellan bedömarna (konsistens, ICC(3,·))? Och gäller det en enskild bedömning (”enskild”) eller medelvärdet av alla bedömare (”medel”, mer reliabelt)? Indelning enligt Koo och Li (2016): under ,50 dålig, upp till ,75 måttlig, upp till ,90 god, därutöver utmärkt; de rekommenderar att man då beaktar hela konfidensintervallet.

Exempel: Tre lärare poängsätter 12 uppsatser: ICC(2,1) = ,74 (95 % KI ,45 till ,91). Punktskattningen tyder på måttlig överensstämmelse för en enskild bedömning, men intervallet sträcker sig från dålig till utmärkt - med 12 uppsatser är skattningen fortfarande oprecis. Medelvärdet av de tre är tydligt mer reliabelt, ICC(2,3) = ,89.

Se upp: ICC är oprecis med få fall (minst 30 rekommenderas) och blir lågt när fallen knappt skiljer sig åt - även vid god överensstämmelse. Den kräver tal med meningsfulla avstånd.