Överensstämmelse mellan kodare (Fleiss, Krippendorff, Brennan-Prediger)

Vad det används till

Flera personer har sorterat samma enheter (textpassager, öppna svar) i kategorier; man prövar kodningens tillförlitlighet. Du väljer kolumnerna (en per kodare, en rad per enhet) under ”Stämmer bedömningar överens?”. Statable visar Cohens κ (två kodare) eller Fleiss κ (från tre), Krippendorffs α, procentuell överensstämmelse (percent agreement) och Brennan-Prediger.

Förutsättningar

• Kodat oberoende av varandra. Från MAXQDA: exportera koderna per segment som tabell.
• Kategorier som text eller numeriska koder. Luckor är tillåtna; enheter med bara en kodning nämns, α hoppar över dem.
• Skalan för α följer kolumnernas skalnivå (blandad: den lägsta; text: nominal).

Så läser du resultatet

• κ med 95-procentigt intervall; de verbala etiketterna enligt Landis och Koch (1977) är en konvention. Vid två kodare (coder) vore Fleiss κ Scotts π, inte Cohens κ; där visar Statable Cohens κ.
• α: tillförlitligt från ,800, från ,667 till ,800 bara preliminära slutsatser, under det inte tillförlitligt (Krippendorff, 2004).
• Kappaparadoxen (kappa paradox): överensstämmelse från 90 , κ under ,40, på grund av en sällsynt kategori. Brennan-Prediger (slumpmässig överensstämmelse 1/q) påverkas inte av det.

Så rapporterar du

Fleiss κ = ,52, 95  KI [,41; ,63]; α (nominal) = ,534, 95  KI [,421; ,647]; 40 enheter, 3 kodare (coder)

Begränsningar

• κ beror på hur ofta kategorierna förekommer. Metriskt α (intervall) förutsätter lika avstånd mellan värdena; ordinalt använder bara ordningen. Intervall enligt Gwet (2014), utan bootstrap.

Källor

Kuckartz och Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan och Prediger (1981), Educational and Psychological Measurement 41(3); Landis och Koch (1977), Biometrics 33(1).