Overeenstemming tussen codeurs (Fleiss, Krippendorff, Brennan-Prediger)

Waarvoor

Meerdere personen hebben dezelfde eenheden (tekstfragmenten, open antwoorden) bij categorieën ingedeeld; er wordt gekeken hoe betrouwbaar de codering is. Je kiest de kolommen (één per codeur, één rij per eenheid) onder “Stemmen beoordelingen overeen?”. Statable toont Cohens κ (twee codeurs) of Fleiss' κ (vanaf drie), Krippendorffs α, procentuele overeenstemming (percent agreement) en Brennan-Prediger.

Voorwaarden

• Onafhankelijk gecodeerd. Vanuit MAXQDA: exporteer de codes per segment als tabel.
• Categorieën als tekst of numerieke codes. Hiaten zijn toegestaan; eenheden met maar één codering worden genoemd, α laat ze buiten beschouwing.
• De schaal voor α volgt het meetniveau van de kolommen (gemengd: het laagste; tekst: nominaal).

Zo lees je het resultaat

• κ met 95%-interval; de verbale labels van Landis en Koch (1977) zijn een conventie. Bij twee codeurs zou Fleiss' κ Scotts π zijn, niet Cohens κ; daar toont Statable Cohens κ.
• α: vanaf ,800 betrouwbaar, van ,667 tot ,800 alleen voorlopige conclusies, daaronder niet betrouwbaar (Krippendorff, 2004).
• Kappa-paradox (kappa paradox): overeenstemming vanaf 90%, κ onder ,40, door een zeldzame categorie. Brennan-Prediger (kansovereenstemming 1/q) hangt daar niet van af.

Zo rapporteer je

Fleiss' κ = ,52, 95%-BI [,41; ,63]; α (nominaal) = ,534, 95%-BI [,421; ,647]; 40 eenheden, 3 codeurs

Grenzen

• κ hangt af van hoe vaak de categorieën voorkomen. Metrische α (interval) veronderstelt gelijke afstanden tussen de waarden; ordinaal gebruikt alleen de volgorde. Intervallen volgens Gwet (2014), zonder bootstrap.

Bronnen

Kuckartz en Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan en Prediger (1981), Educational and Psychological Measurement 41(3); Landis en Koch (1977), Biometrics 33(1).