Acordul dintre codificatori (Fleiss, Krippendorff, Brennan-Prediger)

La ce servește

Mai multe persoane au repartizat aceleași unități (pasaje de text, răspunsuri deschise) în categorii; se verifică fiabilitatea codificării. Se aleg coloanele (câte una pe codificator, un rând pe unitate) la „Concordă evaluările?”. Statable arată κ Cohen (doi codificatori) sau κ Fleiss (de la trei), α Krippendorff, acordul procentual și Brennan-Prediger.

Cerințe

• Codificat independent. Din MAXQDA: exportați codurile pe segmente sub formă de tabel.
• Categorii ca text sau ca coduri numerice. Golurile sunt permise; unitățile cu o singură codificare sunt menționate, α le omite.
• Scala pentru α urmează nivelul de măsurare al coloanelor (mixt: cel mai scăzut; text: nominal).

Cum citiți rezultatul

• κ cu interval de 95%; etichetele verbale după Landis și Koch (1977) sunt o convenție. La doi codificatori, κ Fleiss ar fi π al lui Scott, nu κ Cohen; acolo Statable arată κ Cohen.
• α: fiabil de la ,800, între ,667 și ,800 doar concluzii provizorii, sub aceasta nefiabil (Krippendorff, 2004).
• Paradoxul kappa (kappa paradox): acord de la 90%, κ sub ,40, din cauza unei categorii rare. Brennan-Prediger (acord așteptat întâmplător 1/q) nu depinde de aceasta.

Cum raportați

κ Fleiss = ,52, IC 95% [,41; ,63]; α (nominal) = ,534, IC 95% [,421; ,647]; 40 de unități, 3 codificatori

Limite

• κ depinde de frecvența categoriilor. α metric (de interval) presupune distanțe egale între valori; cel ordinal folosește doar ordinea. Intervale după Gwet (2014), fără bootstrap.

Surse

Kuckartz și Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan și Prediger (1981), Educational and Psychological Measurement 41(3); Landis și Koch (1977), Biometrics 33(1).