Egyezés a kódolók (coders) között (Fleiss, Krippendorff, Brennan-Prediger)

Mire való

Több személy ugyanazokat az egységeket (szövegrészeket, nyílt válaszokat) kategóriákba sorolta; a kódolás megbízhatóságát vizsgáljuk. Az oszlopokat (kódolónként egyet, egységenként egy sort) az „Egyeznek az értékelések?” alatt kell kiválasztani. A Statable a Cohen-féle κ-t (két kódoló) vagy a Fleiss-féle κ-t (háromtól), a Krippendorff-féle α-t, a százalékos egyezést (percent agreement) és a Brennan-Prediger-t mutatja.

Feltételek

Egymástól függetlenül kódolva. MAXQDA-ból: exportáld a kódokat szegmensenként táblázatként.
Kategóriák szövegként vagy számkódként. A hiányok megengedettek; a csak egy kódolású egységeket a program megnevezi, az α figyelmen kívül hagyja őket.
Az α skálája az oszlopok mérési szintjét követi (vegyes: a legalacsonyabb; szöveg: nominális).

Így olvasd az eredményt

κ 95%-os intervallummal; a Landis és Koch (1977) szerinti szóbeli fokozatok megegyezés kérdései. Két kódolónál a Fleiss-féle κ Scott π-je lenne, nem a Cohen-féle κ; ott a Statable a Cohen-féle κ-t mutatja.
α: ,800-tól megbízható, ,667 és ,800 között csak előzetes következtetések, alatta nem megbízható (Krippendorff, 2004).
Kappa-paradoxon: 90% feletti egyezés, ,40 alatti κ, egy ritka kategória miatt. A Brennan-Prediger (véletlen egyezés 1/q) ettől független.

Így számolj be róla

Fleiss-féle κ = ,52, 95%-os KI [,41; ,63]; α (nominális) = ,534, 95%-os KI [,421; ,647]; 40 egység, 3 kódoló

Korlátok

A κ függ a kategóriák gyakoriságától. A metrikus (intervallum) α egyenlő távolságokat feltételez az értékek között; az ordinális csak a sorrendet használja. Az intervallumok Gwet (2014) szerint, bootstrap nélkül.

Források

Kuckartz és Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan és Prediger (1981), Educational and Psychological Measurement 41(3); Landis és Koch (1977), Biometrics 33(1).