Συμφωνία μεταξύ κωδικοποιητών (Fleiss, Krippendorff, Brennan-Prediger)

Σε τι χρησιμεύει

Αρκετά άτομα κατέταξαν τις ίδιες μονάδες (αποσπάσματα κειμένου, ανοιχτές απαντήσεις) σε κατηγορίες· ελέγχεται η αξιοπιστία της κωδικοποίησης. Επιλέγονται οι στήλες (μία ανά κωδικοποιητή, μία γραμμή ανά μονάδα) στο «Συμφωνούν οι αξιολογήσεις;». Το Statable δείχνει το κ του Cohen (δύο κωδικοποιητές) ή το κ του Fleiss (από τρεις), το α του Krippendorff, την ποσοστιαία συμφωνία και το Brennan-Prediger.

Προϋποθέσεις

• Κωδικοποιημένο ανεξάρτητα. Από το MAXQDA: εξαγάγετε τους κωδικούς ανά τμήμα ως πίνακα.
• Κατηγορίες ως κείμενο ή αριθμητικοί κωδικοί. Τα κενά επιτρέπονται· οι μονάδες με μία μόνο κωδικοποίηση αναφέρονται, το α τις παραλείπει.
• Η κλίμακα για το α ακολουθεί το επίπεδο μέτρησης των στηλών (μικτό: το χαμηλότερο· κείμενο: ονομαστικό).

Πώς διαβάζετε το αποτέλεσμα

• κ με διάστημα 95%· οι λεκτικές ετικέτες κατά Landis και Koch (1977) είναι σύμβαση. Με δύο κωδικοποιητές το κ του Fleiss θα ήταν το π του Scott, όχι το κ του Cohen· εκεί το Statable δείχνει το κ του Cohen.
• α: αξιόπιστο από ,800, από ,667 έως ,800 μόνο προσωρινά συμπεράσματα, κάτω από αυτό μη αξιόπιστο (Krippendorff, 2004).
• Παράδοξο του κάπα: συμφωνία από 90%, κ κάτω από ,40, εξαιτίας μιας σπάνιας κατηγορίας. Το Brennan-Prediger (συμφωνία από τύχη 1/q) δεν εξαρτάται από αυτήν.

Πώς το αναφέρετε

κάπα του Fleiss (Fleiss' kappa) = ,52, 95% CI [,41; ,63]· α (ονομαστικό) = ,534, 95% CI [,421; ,647]· 40 μονάδες, 3 κωδικοποιητές

Περιορισμοί

• Το κ εξαρτάται από τη συχνότητα των κατηγοριών. Το μετρικό α (διαστήματος) προϋποθέτει ίσες αποστάσεις μεταξύ των τιμών· το τακτικό χρησιμοποιεί μόνο τη σειρά. Διαστήματα κατά Gwet (2014), χωρίς bootstrap.

Πηγές

Kuckartz και Rädiker (2022), Qualitative Inhaltsanalyse· Krippendorff (2004), Human Communication Research 30(3)· Gwet (2014), Handbook of Inter-Rater Reliability· Fleiss (1971), Psychological Bulletin 76(5)· Brennan και Prediger (1981), Educational and Psychological Measurement 41(3)· Landis και Koch (1977), Biometrics 33(1).