Coeficiente de correlación intraclase (ICC)

El ICC muestra qué proporción de las diferencias en el conjunto de las valoraciones se debe a diferencias reales entre los casos, y no a los evaluadores ni a errores de medida. 0 significa ninguna concordancia, 1 concordancia perfecta. Hay que separar dos preguntas: ¿deben ser iguales los valores (concordancia absoluta, ICC(2,·)) o se admite una diferencia constante entre los evaluadores (consistencia, ICC(3,·))? ¿Y se refiere a una sola valoración («individual») o a la media de todos los evaluadores («media», más fiable)? Clasificación según Koo y Li (2016): por debajo de ,50 pobre, hasta ,75 moderada, hasta ,90 buena, por encima excelente; recomiendan considerar el intervalo de confianza completo.

Ejemplo: Tres docentes puntúan 12 redacciones con puntos: ICC(2,1) = ,74 (IC del 95 % ,45 a ,91). La estimación puntual indica una concordancia moderada para una valoración individual, pero el intervalo va de pobre a excelente: con 12 redacciones, la estimación todavía es imprecisa. La media de las tres es claramente más fiable, con ICC(2,3) = ,89.

Precaución: El ICC es impreciso con pocos casos (se recomiendan al menos 30) y sale bajo cuando los casos apenas se diferencian, incluso con una buena concordancia. Requiere números con distancias que tengan sentido.