Concordanza tra codificatori (Fleiss, Krippendorff, Brennan-Prediger)

A cosa serve

Più persone hanno assegnato alle stesse unità (passaggi di testo, risposte aperte) delle categorie; si verifica l’affidabilità della codifica. Si scelgono le colonne (una per codificatore, una riga per unità) sotto «Le valutazioni concordano?». Statable mostra il κ di Cohen (due codificatori) o il κ di Fleiss (da tre), l’α di Krippendorff, la concordanza percentuale (percent agreement) e Brennan-Prediger.

Requisiti

• Codificato in modo indipendente. Da MAXQDA: esporta i codici per segmento come tabella.
• Categorie come testo o come codici numerici. Le lacune sono ammesse; le unità con una sola codifica vengono segnalate, α le tralascia.
• La scala per α segue il livello di misura delle colonne (misto: il più basso; testo: nominale).

Come leggere il risultato

• κ con intervallo al 95%; le etichette verbali di Landis e Koch (1977) sono una convenzione. Con due codificatori il κ di Fleiss sarebbe il π di Scott, non il κ di Cohen; in quel caso Statable mostra il κ di Cohen.
• α: affidabile da ,800, da ,667 a ,800 solo conclusioni provvisorie, sotto non affidabile (Krippendorff, 2004).
• Paradosso del kappa (kappa paradox): concordanza dal 90%, κ sotto ,40, a causa di una categoria rara. Brennan-Prediger (concordanza attesa per caso 1/q) non ne dipende.

Come riportarlo

κ di Fleiss = ,52, IC al 95% [,41; ,63]; α (nominale) = ,534, IC al 95% [,421; ,647]; 40 unità, 3 codificatori

Limiti

• κ dipende dalla frequenza delle categorie. L’α metrico (a intervalli) presuppone distanze uguali tra i valori; quello ordinale usa solo l’ordine. Intervalli secondo Gwet (2014), senza bootstrap.

Fonti

Kuckartz e Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan e Prediger (1981), Educational and Psychological Measurement 41(3); Landis e Koch (1977), Biometrics 33(1).