Correlação intraclasse (ICC)

O ICC mostra que parte das diferenças no conjunto das avaliações se deve a diferenças reais entre os casos, e não aos avaliadores nem a erros de medição. 0 significa nenhuma concordância, 1 concordância perfeita. É preciso separar duas questões: os valores devem ser iguais (concordância absoluta, ICC(2,·)) ou admite-se uma diferença constante entre os avaliadores (consistência, ICC(3,·))? E refere-se a uma única avaliação («individual») ou à média de todos os avaliadores («média», mais fiável)? Classificação segundo Koo e Li (2016): abaixo de ,50 fraca, até ,75 moderada, até ,90 boa, acima disso excelente; recomendam considerar todo o intervalo de confiança.

Exemplo: Três professores atribuem pontos a 12 textos: ICC(2,1) = ,74 (IC a 95% ,45 a ,91). A estimativa pontual indica uma concordância moderada para uma avaliação individual, mas o intervalo vai de fraca a excelente - com 12 textos, a estimativa ainda é imprecisa. A média das três é claramente mais fiável, com ICC(2,3) = ,89.

Atenção: O ICC é impreciso com poucos casos (recomendam-se pelo menos 30) e resulta baixo quando os casos mal diferem entre si - mesmo com boa concordância. Exige números com distâncias com significado.