Acuerdo entre codificadores (Fleiss, Krippendorff, Brennan-Prediger)

Para qué sirve

Varias personas han asignado las mismas unidades (fragmentos de texto, respuestas abiertas) a categorías; se comprueba la fiabilidad de la codificación. Se eligen las columnas (una por codificador, una fila por unidad) en «¿Coinciden las valoraciones?». Statable muestra el κ de Cohen (dos codificadores) o el κ de Fleiss (desde tres), el α de Krippendorff, la concordancia porcentual y Brennan-Prediger.

Requisitos

• Codificado de forma independiente. Desde MAXQDA: exporta los códigos por segmento como tabla.
• Categorías como texto o como códigos numéricos. Se admiten lagunas; las unidades con una sola codificación se mencionan, α las omite.
• La escala de α sigue el nivel de medida de las columnas (mixto: el más bajo; texto: nominal).

Cómo leer el resultado

• κ con intervalo del 95 ; las etiquetas verbales de Landis y Koch (1977) son una convención. Con dos codificadores, el κ de Fleiss sería el π de Scott, no el κ de Cohen; en ese caso Statable muestra el κ de Cohen.
• α: fiable desde ,800; de ,667 a ,800 solo conclusiones provisionales; por debajo, no fiable (Krippendorff, 2004).
• Paradoja del kappa: concordancia a partir del 90 , κ por debajo de ,40, por una categoría poco frecuente. Brennan-Prediger (concordancia esperada por azar 1/q) no depende de ello.

Cómo comunicarlo

κ de Fleiss = ,52, IC del 95  [,41; ,63]; α (nominal) = ,534, IC del 95  [,421; ,647]; 40 unidades, 3 codificadores

Límites

• κ depende de la frecuencia de las categorías. El α métrico (de intervalo) supone distancias iguales entre los valores; el ordinal solo usa el orden. Intervalos según Gwet (2014), sin bootstrap.

Fuentes

Kuckartz y Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan y Prediger (1981), Educational and Psychological Measurement 41(3); Landis y Koch (1977), Biometrics 33(1).