Le valutazioni concordano? (kappa, ICC, Bland-Altman)

In breve

Più valutatori (per esempio due insegnanti) o due metodi di misura hanno valutato gli stessi casi; si verifica quanto bene concordano i valori. Si scelgono le colonne, una per valutatore, almeno due. Statable sceglie tra il kappa di Cohen (due colonne di categorie), il kappa di Fleiss con l’alfa di Krippendorff (tre o più colonne di categorie; articolo «Concordanza tra codificatori») e il coefficiente di correlazione intraclasse (ICC, numeri) e fornisce un intervallo di confidenza; con esattamente due colonne di numeri si aggiunge l’analisi di Bland-Altman come extra richiudibile. PSPP non ha l’ICC; Statable lo calcola da sé.

Kappa o ICC

• Kappa di Cohen (κ): con esattamente due colonne di categorie (testo, colonne nominali o numeri con al massimo 7 valori distinti, come i voti). Kappa conta quante volte entrambi danno la stessa valutazione e sottrae quanto darebbe il solo caso. Con categorie ordinate si può ponderare (linearmente o quadraticamente).
• ICC: con colonne numeriche con molti valori (ad esempio punti) e con più di due valutatori. La concordanza assoluta (absolute agreement) (predefinita) richiede valori uguali. La coerenza ammette una differenza costante tra i valutatori (un valutatore dà sempre 2 punti in più), ma richiede le stesse distanze; valutazione singola o media di tutti i valutatori (più attendibile).
• Kappa di Fleiss e alfa di Krippendorff: con tre o più colonne di categorie. Con esattamente due colonne l’alfa di Krippendorff compare sotto il kappa di Cohen; si aggiungono la concordanza percentuale (percent agreement) e il coefficiente di Brennan-Prediger (Brennan-Prediger coefficient). Le codifiche mancanti sono ammesse (vedi «Concordanza tra codificatori»).
• Con colonne di numeri, nel foglio si può passare dal kappa all’ICC.

Bland-Altman: quanto sono grandi le differenze?

L’ICC mette le discrepanze in rapporto con le differenze tra i casi; non dice quanto siano grandi nell’unità di misura. Il grafico mostra per ogni caso la media dei due valori (orizzontale) e la loro differenza (verticale, prima colonna meno seconda). Il bias è la differenza media, uno scarto costante tra i metodi. Circa il 95% delle differenze cade tra i limiti di concordanza (limits of agreement) (bias ± 1,96 SD). Se questo intervallo sia abbastanza piccolo lo decide la disciplina. Se la differenza sale o scende con la media (pendenza con p < ,05), i limiti non valgono ovunque ugualmente bene.

Per esattamente due colonne numeriche il typical error compare accanto, chiuso: vale per due misure delle stesse persone senza un intervento nel mezzo e mostra di quanto una singola misura si discosta tipicamente. La sua variazione della media è esplicitamente «seconda meno prima misura»; Bland-Altman calcola prima meno seconda, dove lo stesso numero ha il segno opposto. Di più nell’articolo «Precisione della misura: typical error».

Confronto tra metodi: Passing-Bablok e Deming

Con esattamente due colonne numeriche (due metodi di misurazione) il confronto tra metodi (method comparison) compare accanto a Bland-Altman, richiuso: mostra se i metodi differiscono per una quantità fissa o per un fattore, con Passing-Bablok e Deming (λ visibile e selezionabile). Altro nell’articolo «Confrontare due metodi di misurazione».

Requisiti

• Tutti i valutatori hanno valutato gli stessi casi. L’ICC e Bland-Altman usano solo i casi completi; la pagina indica quanti ne sono stati esclusi.
• Kappa: le stesse categorie in tutte le colonne. ICC: numeri con intervalli sensati.
• Con n < 30 compare l’avviso «Pochi casi»; Bland e Altman raccomandano almeno 100 casi per i limiti.

Leggere il risultato

• Kappa secondo Landis e Koch (1977): fino a ,20 lieve, fino a ,40 discreta, fino a ,60 moderata, fino a ,80 sostanziale, oltre quasi perfetta; sotto 0 peggiore del caso.
• ICC secondo Koo e Li (2016): sotto ,50 scarsa, fino a ,75 moderata, fino a ,90 buona, oltre eccellente; raccomandano di considerare l’intero intervallo.
• Tutte le classificazioni sono regole empiriche.

Kappa: κ (quadratico) = ,50, p < ,001, IC al 95% [,26; ,74], n = 30

ICC(2,1) = ,74, IC al 95% [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 valutatori, 12 casi)

Bland-Altman: bias = −0,33, IC al 95% [−0,98; 0,32]; limiti di concordanza (limits of agreement) [−2,64; 1,97] (2 strumenti, 15 casi)

Per specialisti

La concordanza assoluta (absolute agreement) corrisponde a ICC(2,·), la coerenza a ICC(3,·). Kappa tramite CROSSTABS /STATISTICS=KAPPA. Bland-Altman: bias con un intervallo t; gli intervalli dei limiti sono esatti secondo Carkeet (2015, distribuzione t non centrale) e quindi un po’ più ampi e asimmetrici rispetto all’approssimazione di Bland e Altman (1999); R BlandAltmanLeh usa l’approssimazione più grossolana s·√(3/n). Da n = 234 si usa l’approssimazione del 1999.

Esempi tipici

• Due insegnanti valutano gli stessi 30 temi: kappa (ponderato per i voti).
• Tre valutatori assegnano punteggi agli stessi bambini: ICC.
• Due strumenti misurano le stesse persone: Bland-Altman.