Shoda mezi kodéry (intercoder agreement) (Fleiss, Krippendorff, Brennan-Prediger)

K čemu slouží

Několik osob zařadilo stejné jednotky (úryvky textu, otevřené odpovědi) do kategorií; zjišťuje se spolehlivost kódování. Vybírají se sloupce (jeden na kodéra (coder), jeden řádek na jednotku) pod „Shodují se hodnocení?“. Statable ukazuje Cohenovo κ (dva kodéři) nebo Fleissovo κ (od tří), Krippendorffovo α, procentuální shodu (percent agreement) a Brennan-Prediger.

Požadavky

• Kódováno nezávisle. Z MAXQDA: exportujte kódy podle segmentů jako tabulku.
• Kategorie jako text nebo číselné kódy. Mezery jsou povoleny; jednotky jen s jedním kódováním se uvádějí, α je vynechává.
• Škála pro α se řídí úrovní měření sloupců (smíšená: nejnižší; text: nominální).

Jak výsledek číst

• κ s 95% intervalem; slovní stupně podle Landise a Kocha (1977) jsou konvence. U dvou kodérů (coders) by Fleissovo κ bylo Scottovo π, nikoli Cohenovo κ; tam Statable ukazuje Cohenovo κ.
• α: spolehlivé od ,800, od ,667 do ,800 jen předběžné závěry, pod tím nespolehlivé (Krippendorff, 2004).
• Paradox kappa (kappa paradox): shoda od 90%, κ pod ,40, kvůli vzácné kategorii. Brennan-Prediger (shoda očekávaná náhodou 1/q) na tom nezávisí.

Jak to uvést

Fleissovo κ = ,52, 95% CI [,41; ,63]; α (nominální) = ,534, 95% CI [,421; ,647]; 40 jednotek, 3 kodéři

Omezení

• κ závisí na četnosti kategorií. Metrické α (intervalové) předpokládá stejné vzdálenosti mezi hodnotami; ordinální využívá jen pořadí. Intervaly podle Gweta (2014), bez bootstrapu.

Zdroje

Kuckartz a Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan a Prediger (1981), Educational and Psychological Measurement 41(3); Landis a Koch (1977), Biometrics 33(1).