Ενδοσυσταδική συσχέτιση (ICC)

Η ICC δείχνει ποιο ποσοστό της διακύμανσης σε όλες τις αξιολογήσεις αντανακλά πραγματικές διαφορές ανάμεσα στις περιπτώσεις - και όχι διαφορές ανάμεσα στους αξιολογητές ή σφάλμα μέτρησης. Το 0 σημαίνει καθόλου συμφωνία, το 1 τέλεια συμφωνία. Πρέπει να διακριθούν δύο ερωτήματα: πρέπει οι τιμές να είναι ίδιες (απόλυτη συμφωνία, ICC(2,·)) ή επιτρέπεται οι αξιολογητές να διαφέρουν κατά ένα σταθερό ποσό (συνέπεια, ICC(3,·)); Και αναφέρεται σε μία μεμονωμένη αξιολόγηση («single») ή στον μέσο όρο όλων των αξιολογητών («mean», πιο αξιόπιστος); Κατάταξη κατά Koo και Li (2016): κάτω από ,50 κακή, έως ,75 μέτρια, έως ,90 καλή, πάνω από αυτό εξαιρετική· οι συγγραφείς συνιστούν να εξετάζεται ολόκληρο το διάστημα εμπιστοσύνης.

Παράδειγμα: Τρεις εκπαιδευτικοί βαθμολογούν 12 εκθέσεις με βαθμούς: ICC(2,1) = ,74 (95% CI ,45 έως ,91). Η σημειακή εκτίμηση υποδηλώνει μέτρια συμφωνία μιας μεμονωμένης αξιολόγησης, αλλά το διάστημα εκτείνεται από κακή έως εξαιρετική - με 12 εκθέσεις η εκτίμηση είναι ακόμη ανακριβής. Ο μέσος όρος των τριών είναι σαφώς πιο αξιόπιστος, ICC(2,3) = ,89.

Προσοχή: Η ICC είναι ανακριβής με λίγες περιπτώσεις (συνιστώνται τουλάχιστον 30) και βγαίνει χαμηλή όταν οι περιπτώσεις διαφέρουν ελάχιστα - ακόμη και με καλή συμφωνία. Προϋποθέτει αριθμούς με ουσιαστικές αποστάσεις.