Συμφωνούν οι αξιολογήσεις; (κάπα, ICC, Bland-Altman)

Εν συντομία

Πολλοί αξιολογητές (για παράδειγμα δύο εκπαιδευτικοί) ή δύο μέθοδοι μέτρησης αξιολόγησαν τις ίδιες περιπτώσεις· ελέγχεται πόσο καλά συμφωνούν οι τιμές. Επιλέγονται οι στήλες, μία ανά αξιολογητή, τουλάχιστον δύο. Το Statable επιλέγει ανάμεσα στο κάπα του Cohen (δύο στήλες με κατηγορίες), το κάπα του Fleiss (Fleiss' kappa) με το άλφα του Krippendorff (τρεις ή περισσότερες στήλες με κατηγορίες· άρθρο «Συμφωνία μεταξύ κωδικοποιητών») και την ενδοσυσταδική συσχέτιση (ICC, αριθμοί) και δίνει διάστημα εμπιστοσύνης· με ακριβώς δύο στήλες αριθμών προστίθεται η ανάλυση Bland-Altman ως αναδιπλούμενο πρόσθετο. Το PSPP δεν γνωρίζει ICC· το Statable τον υπολογίζει μόνο του.

Κάπα ή ICC

• Κάπα του Cohen (κ): για ακριβώς δύο στήλες με κατηγορίες (κείμενο, ονομαστικές στήλες ή αριθμοί με το πολύ 7 διαφορετικές τιμές, π.χ. βαθμοί). Το κάπα μετρά πόσο συχνά και οι δύο κρίνουν το ίδιο και αφαιρεί όσο θα έδινε μόνη της η τύχη. Με διατεταγμένες κατηγορίες μπορεί να σταθμιστεί (γραμμικά ή τετραγωνικά).
• ICC: για στήλες αριθμών με πολλές τιμές (για παράδειγμα βαθμούς) και για περισσότερους από δύο αξιολογητές. Η απόλυτη συμφωνία (προεπιλογή) απαιτεί ίδιες τιμές. Η συνέπεια επιτρέπει μια σταθερή διαφορά ανάμεσα στους αξιολογητές (ένας αξιολογητής δίνει πάντα 2 βαθμούς παραπάνω), αλλά απαιτεί ίσες αποστάσεις. Μεμονωμένη αξιολόγηση ή μέσος όρος όλων των αξιολογητών (πιο αξιόπιστος).
• Κάπα του Fleiss (Fleiss' kappa) και άλφα του Krippendorff: με τρεις ή περισσότερες στήλες με κατηγορίες. Με ακριβώς δύο στήλες το άλφα του Krippendorff εμφανίζεται κάτω από το κάπα του Cohen· προστίθενται η ποσοστιαία συμφωνία και ο συντελεστής Brennan-Prediger (Brennan-Prediger coefficient). Οι ελλιπείς κωδικοποιήσεις επιτρέπονται (βλ. «Συμφωνία μεταξύ κωδικοποιητών»).
• Σε στήλες με αριθμούς, στο φύλλο μπορείτε να εναλλάσσετε μεταξύ κάπα και ICC.

Bland-Altman: πόσο μεγάλες είναι οι διαφορές;

Ο ICC συσχετίζει τις αποκλίσεις με τις διαφορές ανάμεσα στις περιπτώσεις. Δεν λέει πόσο μεγάλες είναι οι διαφορές στη μονάδα μέτρησης. Το διάγραμμα δείχνει για κάθε περίπτωση τον μέσο όρο των δύο τιμών (οριζόντια) και τη διαφορά τους (κάθετα, πρώτη μείον δεύτερη στήλη). Η συστηματική απόκλιση (bias) είναι η μέση διαφορά, μια σταθερή μετατόπιση ανάμεσα στις μεθόδους. Περίπου το 95% των διαφορών βρίσκεται ανάμεσα στα όρια συμφωνίας (συστηματική απόκλιση ± 1,96 SD). Το αν αυτό το εύρος είναι αρκετά μικρό το αποφασίζει ο επιστημονικός τομέας. Αν η διαφορά αυξάνεται ή μειώνεται με τον μέσο όρο (κλίση με p < ,05), τα όρια δεν ισχύουν παντού εξίσου καλά.

Για ακριβώς δύο στήλες αριθμών το typical error εμφανίζεται δίπλα, συμπτυγμένο: ισχύει για δύο μετρήσεις των ίδιων ατόμων χωρίς παρέμβαση ανάμεσά τους και δείχνει πόσο αποκλίνει τυπικά μία μεμονωμένη μέτρηση. Η μεταβολή του μέσου όρου είναι ρητά «δεύτερη μείον πρώτη μέτρηση»· το Bland-Altman υπολογίζει πρώτη μείον δεύτερη, όπου ο ίδιος αριθμός έχει το αντίθετο πρόσημο. Περισσότερα στο άρθρο «Ακρίβεια μέτρησης: typical error».

Σύγκριση μεθόδων: Passing-Bablok και Deming

Με ακριβώς δύο αριθμητικές στήλες (δύο μέθοδοι μέτρησης) η σύγκριση μεθόδων βρίσκεται δίπλα στο Bland-Altman, συμπτυγμένη: δείχνει αν οι μέθοδοι διαφέρουν κατά ένα σταθερό ποσό ή κατά έναν παράγοντα, με Passing-Bablok και Deming (το λ ορατό και επιλέξιμο). Περισσότερα στο άρθρο «Σύγκριση δύο μεθόδων μέτρησης».

Προϋποθέσεις

• Όλοι οι αξιολογητές αξιολόγησαν τις ίδιες περιπτώσεις. Το ICC και το Bland-Altman υπολογίζονται μόνο με πλήρεις περιπτώσεις· το φύλλο αναφέρει πόσες παραλείφθηκαν.
• Κάπα: οι ίδιες κατηγορίες σε όλες τις στήλες. ICC: αριθμοί με νόημα στις αποστάσεις τους.
• Με n < 30 εμφανίζεται η σημείωση «Λίγες περιπτώσεις». Οι Bland και Altman συνιστούν τουλάχιστον 100 για τα όρια.

Ανάγνωση του αποτελέσματος

• Κάπα κατά Landis και Koch (1977): έως ,20 μικρό, έως ,40 επαρκές, έως ,60 μέτριο, έως ,80 υψηλό, πάνω από αυτό σχεδόν τέλειο. Κάτω από 0: χειρότερο από την τύχη.
• ICC κατά Koo και Li (2016): κάτω από ,50 χαμηλό, έως ,75 μέτριο, έως ,90 καλό, πάνω από αυτό εξαιρετικό. Συνιστούν να εξετάζεται ολόκληρο το διάστημα.
• Όλοι οι χαρακτηρισμοί είναι εμπειρικοί κανόνες.

Κάπα: κ (τετραγωνικό) = ,50, p < ,001, 95% CI [,26; ,74], n = 30

ICC(2,1) = ,74, 95% CI [,45; ,91]· F(11, 22) = 9,10, p < ,001 (3 αξιολογητές, 12 περιπτώσεις)

Bland-Altman: συστηματική απόκλιση (bias) = −0,33, 95% CI [−0,98; 0,32]· όρια συμφωνίας [−2,64; 1,97] (2 όργανα, 15 περιπτώσεις)

Για ειδικούς

Η απόλυτη συμφωνία (absolute agreement) αντιστοιχεί στο ICC(2,·), η συνέπεια στο ICC(3,·). Κάπα μέσω CROSSTABS /STATISTICS=KAPPA. Bland-Altman: συστηματική απόκλιση (bias) με διάστημα t· τα διαστήματα των ορίων είναι ακριβή κατά Carkeet (2015, μη κεντρική κατανομή t) και επομένως κάπως ευρύτερα και ασύμμετρα σε σύγκριση με την προσέγγιση των Bland και Altman (1999)· το R BlandAltmanLeh χρησιμοποιεί την πιο χονδροειδή προσέγγιση s·√(3/n). Από n = 234 χρησιμοποιείται η προσέγγιση του 1999.

Τυπικά παραδείγματα

• Δύο εκπαιδευτικοί βαθμολογούν τις ίδιες 30 εκθέσεις: κάπα (σταθμισμένο για βαθμούς).
• Τρεις αξιολογητές βαθμολογούν τα ίδια παιδιά: ICC.
• Δύο όργανα μετρούν τα ίδια άτομα: Bland-Altman.