Corrélation intraclasse (ICC)

Le ICC indique quelle part des différences dans l’ensemble des évaluations provient de vraies différences entre les cas, et non des juges ou d’erreurs de mesure. 0 signifie aucun accord, 1 un accord parfait. Il faut distinguer deux questions : les valeurs doivent-elles être identiques (accord absolu, ICC(2,·)), ou un écart constant entre les juges est-il admis (cohérence, ICC(3,·)) ? Et porte-t-il sur une seule évaluation (« simple ») ou sur la moyenne de tous les juges (« moyenne », plus fiable) ? Classification d’après Koo et Li (2016) : en dessous de ,50 faible, jusqu’à ,75 modéré, jusqu’à ,90 bon, au-delà excellent ; ils recommandent de considérer l’intervalle de confiance en entier.

Exemple: Trois enseignants notent 12 dissertations en points : ICC(2,1) = ,74 (IC à 95 % [,45 ; ,91]). L’estimation ponctuelle indique un accord modéré pour une évaluation isolée, mais l’intervalle va de faible à excellent : avec 12 dissertations, l’estimation reste imprécise. La moyenne des trois est nettement plus fiable, avec ICC(2,3) = ,89.

Attention: Le ICC est imprécis avec peu de cas (au moins 30 recommandés) et il est bas quand les cas diffèrent à peine, même avec un bon accord. Il suppose des nombres dont les écarts ont un sens.