Concordância entre avaliadores (Fleiss, Krippendorff, Brennan-Prediger)

Para que serve

Várias pessoas atribuíram as mesmas unidades (excertos de texto, respostas abertas) a categorias; verifica-se a fiabilidade da codificação. Escolhem-se as colunas (uma por codificador, uma linha por unidade) em «As avaliações concordam?». O Statable mostra o κ de Cohen (dois codificadores) ou o κ de Fleiss (a partir de três), o α de Krippendorff, a concordância percentual e Brennan-Prediger.

Pressupostos

• Codificado de forma independente. A partir do MAXQDA: exporte os códigos por segmento como tabela.
• Categorias como texto ou como códigos numéricos. As lacunas são permitidas; as unidades com uma só codificação são indicadas, o α ignora-as.
• A escala do α segue o nível de medida das colunas (misto: o mais baixo; texto: nominal).

Como ler o resultado

• κ com intervalo a 95%; as etiquetas verbais de Landis e Koch (1977) são uma convenção. Com dois codificadores, o κ de Fleiss seria o π de Scott, e não o κ de Cohen; nesse caso, o Statable mostra o κ de Cohen.
• α: fiável a partir de ,800, de ,667 a ,800 apenas conclusões provisórias, abaixo disso não fiável (Krippendorff, 2004).
• Paradoxo do kappa: concordância a partir de 90%, κ abaixo de ,40, devido a uma categoria rara. Brennan-Prediger (concordância esperada por acaso 1/q) não depende disso.

Como comunicar

κ de Fleiss = ,52, IC a 95% [,41; ,63]; α (nominal) = ,534, IC a 95% [,421; ,647]; 40 unidades, 3 codificadores

Limites

• κ depende da frequência das categorias. O α métrico (de intervalo) pressupõe distâncias iguais entre os valores; o ordinal usa apenas a ordem. Intervalos segundo Gwet (2014), sem bootstrap.

Fontes

Kuckartz e Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan e Prediger (1981), Educational and Psychological Measurement 41(3); Landis e Koch (1977), Biometrics 33(1).