As avaliações concordam? (kappa, ICC, Bland-Altman)

Em resumo

Vários avaliadores (por exemplo, dois professores) ou dois métodos de medição avaliaram os mesmos casos; verifica-se em que medida os valores concordam. Escolhem-se as colunas, uma por avaliador, no mínimo duas. O Statable escolhe entre o kappa de Cohen (duas colunas de categorias), o kappa de Fleiss com o alfa de Krippendorff (três ou mais colunas de categorias; artigo «Concordância entre avaliadores») e a correlação intraclasse (ICC, números) e indica um intervalo de confiança; com exatamente duas colunas de números, junta-se a análise de Bland-Altman como extra expansível. O PSPP não tem ICC; o Statable calcula-o por si.

Kappa ou ICC

• Kappa de Cohen (κ): com exatamente duas colunas de categorias (texto, colunas nominais ou números com no máximo 7 valores distintos, como notas). O kappa conta quantas vezes ambos dão a mesma classificação e subtrai o que o acaso sozinho daria. Com categorias ordenadas, pode ser ponderado (linear ou quadrático).
• ICC: com colunas numéricas com muitos valores (por exemplo, pontos) e com mais de dois avaliadores. A concordância absoluta (predefinição) exige valores iguais. A consistência admite uma diferença constante entre os avaliadores (um avaliador dá sempre 2 pontos a mais), mas exige as mesmas distâncias; avaliação individual ou média de todos os avaliadores (mais fiável).
• Kappa de Fleiss e alfa de Krippendorff: com três ou mais colunas de categorias. Com exatamente duas colunas, o alfa de Krippendorff aparece por baixo do kappa de Cohen; juntam-se a concordância percentual e o coeficiente de Brennan-Prediger (Brennan-Prediger coefficient). As codificações em falta são permitidas (ver «Concordância entre avaliadores»).
• Com colunas de números, é possível alternar na página entre o kappa e o ICC.

Bland-Altman: qual é a dimensão das diferenças?

O ICC relaciona as discrepâncias com as diferenças entre os casos; não diz quão grandes elas são na unidade de medida. O gráfico mostra, para cada caso, a média dos dois valores (horizontal) e a sua diferença (vertical, primeira coluna menos segunda). O enviesamento é a diferença média, um desvio constante entre os métodos. Cerca de 95% das diferenças situam-se entre os limites de concordância (enviesamento ± 1,96 SD). Se esta amplitude é suficientemente pequena, decide-o a área científica. Se a diferença sobe ou desce com a média (declive com p < ,05), os limites não valem igualmente bem em toda a parte.

Para exatamente duas colunas numéricas, o typical error surge ao lado, recolhido: aplica-se a duas medições das mesmas pessoas sem intervenção entre elas e mostra quanto uma medição isolada se desvia tipicamente. A sua variação da média é explicitamente «segunda menos primeira medição»; Bland-Altman calcula primeira menos segunda, onde o mesmo número tem o sinal oposto. Mais no artigo «Precisão da medição: typical error».

Comparação de métodos (method comparison): Passing-Bablok e Deming

Com exatamente duas colunas numéricas (dois métodos de medição), a comparação de métodos (method comparison) aparece ao lado de Bland-Altman, recolhida: mostra se os métodos diferem por uma quantidade fixa ou por um fator, com Passing-Bablok e Deming (λ visível e selecionável). Mais no artigo «Comparar dois métodos de medição».

Pressupostos

• Todos os avaliadores avaliaram os mesmos casos. O ICC e o Bland-Altman usam apenas casos completos; a página indica quantos ficaram de fora.
• Kappa: as mesmas categorias em todas as colunas. ICC: números com intervalos com significado.
• Com n < 30 aparece a nota «Poucos casos»; Bland e Altman recomendam pelo menos 100 para os limites.

Ler o resultado

• Kappa segundo Landis e Koch (1977): até ,20 ligeira, até ,40 razoável, até ,60 moderada, até ,80 substancial, acima disso quase perfeita; abaixo de 0, pior do que o acaso.
• ICC segundo Koo e Li (2016): abaixo de ,50 baixa, até ,75 moderada, até ,90 boa, acima disso excelente; recomendam considerar o intervalo completo.
• Todas as classificações são regras práticas.

Kappa: κ (quadrático) = ,50, p < ,001, IC a 95% [,26; ,74], n = 30

ICC(2,1) = ,74, IC a 95% [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 avaliadores, 12 casos)

Bland-Altman: enviesamento = −0,33, IC a 95% [−0,98; 0,32]; limites de concordância [−2,64; 1,97] (2 instrumentos, 15 casos)

Para especialistas

A concordância absoluta corresponde ao ICC(2,·), a consistência ao ICC(3,·). Kappa via CROSSTABS /STATISTICS=KAPPA. Bland-Altman: enviesamento com um intervalo t; os intervalos dos limites são exatos segundo Carkeet (2015, distribuição t não central) e, por isso, algo mais largos e assimétricos em comparação com a aproximação de Bland e Altman (1999); o BlandAltmanLeh do R usa a aproximação mais grosseira s·√(3/n). A partir de n = 234 usa-se a aproximação de 1999.

Exemplos típicos

• Dois professores classificam os mesmos 30 ensaios: kappa (ponderado para notas).
• Três avaliadores atribuem pontos às mesmas crianças: ICC.
• Dois instrumentos medem as mesmas pessoas: Bland-Altman.