¿Coinciden las valoraciones? (kappa, ICC, Bland-Altman)

En resumen

Varios evaluadores (por ejemplo, dos docentes) o dos métodos de medición han valorado los mismos casos; se comprueba hasta qué punto coinciden los valores. Se eligen las columnas, una por evaluador, al menos dos. Statable elige entre el kappa de Cohen (dos columnas de categorías), el kappa de Fleiss con el alpha de Krippendorff (tres o más columnas de categorías; artículo «Acuerdo entre codificadores») y el coeficiente de correlación intraclase (CCI, números) y ofrece un intervalo de confianza; con exactamente dos columnas de números se añade el análisis de Bland-Altman como complemento desplegable. PSPP no tiene CCI; Statable lo calcula por sí mismo.

Kappa o ICC

• Kappa de Cohen (κ): con exactamente dos columnas de categorías (texto, columnas nominales o números con como máximo 7 valores distintos, como las notas). Kappa cuenta con qué frecuencia coinciden ambas valoraciones y resta lo que daría el azar por sí solo. Con categorías ordenadas se puede ponderar (lineal o cuadrática).
• ICC: con columnas numéricas con muchos valores (por ejemplo, puntos) y con más de dos evaluadores. La concordancia absoluta (predeterminada) exige valores idénticos. La consistencia admite una diferencia constante entre los evaluadores (un evaluador da siempre 2 puntos más), pero exige las mismas distancias; valoración individual o media de todos los evaluadores (más fiable).
• Kappa de Fleiss y alpha de Krippendorff: con tres o más columnas de categorías. Con exactamente dos columnas, el alpha de Krippendorff aparece debajo del kappa de Cohen; se añaden la concordancia porcentual y el coeficiente de Brennan-Prediger (Brennan-Prediger coefficient). Se admiten codificaciones ausentes (véase «Acuerdo entre codificadores»).
• Con columnas de números, en la hoja se puede cambiar entre kappa y CCI.

Bland-Altman: ¿qué tamaño tienen las diferencias?

El ICC pone las discrepancias en relación con las diferencias entre los casos; no dice cuán grandes son en la unidad de medida. El gráfico muestra para cada caso la media de ambos valores (horizontal) y su diferencia (vertical, primera columna menos segunda). El sesgo es la diferencia media, un desplazamiento constante entre los métodos. Aproximadamente el 95 % de las diferencias se sitúa entre los límites de concordancia (sesgo ± 1,96 SD). Si este intervalo es suficientemente pequeño lo decide la disciplina. Si la diferencia sube o baja con la media (pendiente con p < ,05), los límites no valen igual de bien en todas partes.

Para exactamente dos columnas numéricas, el typical error aparece al lado, plegado: vale para dos mediciones de las mismas personas sin intervención entre medias y muestra cuánto se desvía típicamente una medición individual. Su cambio de la media es explícitamente «segunda menos primera medición»; Bland-Altman calcula primera menos segunda, donde la misma cifra tiene el signo opuesto. Más en el artículo «Precisión de la medición: typical error».

Comparación de métodos: Passing-Bablok y Deming

Con exactamente dos columnas numéricas (dos métodos de medición), la comparación de métodos aparece junto a Bland-Altman, plegada: muestra si los métodos difieren en una cantidad fija o en un factor, con Passing-Bablok y Deming (λ visible y seleccionable). Más en el artículo «Comparar dos métodos de medición».

Requisitos

• Todos los evaluadores valoraron los mismos casos. El ICC y Bland-Altman usan solo los casos completos; la página indica cuántos se dejaron fuera.
• Kappa: las mismas categorías en todas las columnas. ICC: números con intervalos con sentido.
• Con n < 30 aparece la nota «Pocos casos»; Bland y Altman recomiendan al menos 100 para los límites.

Cómo leer el resultado

• Kappa según Landis y Koch (1977): hasta ,20 leve, hasta ,40 aceptable, hasta ,60 moderada, hasta ,80 sustancial, por encima casi perfecta; por debajo de 0, peor que el azar.
• ICC según Koo y Li (2016): por debajo de ,50 baja, hasta ,75 moderada, hasta ,90 buena, por encima excelente; recomiendan considerar el intervalo completo.
• Todas las clasificaciones son reglas generales.

Kappa: κ (cuadrático) = ,50, p < ,001, IC del 95 % [,26; ,74], n = 30

ICC(2,1) = ,74, IC del 95 % [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 evaluadores, 12 casos)

Bland-Altman: sesgo = −0,33, IC del 95 % [−0,98; 0,32]; límites de concordancia [−2,64; 1,97] (2 instrumentos, 15 casos)

Para especialistas

La concordancia absoluta corresponde a ICC(2,·); la consistencia, a ICC(3,·). Kappa mediante CROSSTABS /STATISTICS=KAPPA. Bland-Altman: sesgo con un intervalo t; los intervalos de los límites son exactos según Carkeet (2015, distribución t no central) y, por tanto, algo más anchos y asimétricos en comparación con la aproximación de Bland y Altman (1999); BlandAltmanLeh de R usa la aproximación más burda s·√(3/n). A partir de n = 234 se usa la aproximación de 1999.

Ejemplos típicos

• Dos docentes califican los mismos 30 ensayos: kappa (ponderado para las notas).
• Tres evaluadores dan puntos a los mismos niños: ICC.
• Dos instrumentos miden a las mismas personas: Bland-Altman.