Concordă evaluările? (kappa, ICC, Bland-Altman)

Pe scurt

Mai mulți evaluatori (de exemplu doi profesori) sau două metode de măsurare au evaluat aceleași cazuri; se verifică cât de bine concordă valorile. Se aleg coloanele, câte una pe evaluator, cel puțin două. Statable alege între kappa Cohen (două coloane cu categorii), kappa Fleiss (Fleiss' kappa) cu alfa Krippendorff (trei sau mai multe coloane cu categorii; articolul „Acordul dintre codificatori”) și corelația intraclasă (ICC, numere) și dă un interval de încredere; la exact două coloane numerice se adaugă analiza Bland-Altman ca supliment pliabil. PSPP nu cunoaște ICC; Statable îl calculează singur.

Kappa sau ICC

• Kappa Cohen (κ): cu exact două coloane de categorii (text, coloane nominale sau numere cu cel mult 7 valori distincte, cum sunt notele). Kappa numără cât de des cei doi dau aceeași evaluare și scade ceea ce ar da întâmplarea singură. Cu categorii ordonate poate fi ponderat (liniar sau pătratic).
• ICC: la coloane numerice cu multe valori (de exemplu puncte) și la mai mult de doi evaluatori. Acordul absolut (implicit) cere valori identice. Consistența permite o diferență constantă între evaluatori (un evaluator dă mereu cu 2 puncte mai mult), dar cere aceleași distanțe; evaluare singură sau media tuturor evaluatorilor (mai fiabilă).
• Kappa Fleiss (Fleiss' kappa) și alfa Krippendorff (Krippendorff's alpha): la trei sau mai multe coloane cu categorii. La exact două coloane, alfa Krippendorff apare sub kappa Cohen; se adaugă acordul procentual și coeficientul Brennan-Prediger (Brennan-Prediger coefficient). Codificările lipsă sunt permise (vezi „Acordul dintre codificatori”).
• La coloanele cu numere, pe foaie se poate comuta între kappa și ICC.

Bland-Altman: cât de mari sunt diferențele?

ICC raportează dezacordul la diferențele dintre cazuri; nu spune cât de mari sunt diferențele în unitatea de măsură. Diagrama arată pentru fiecare caz media celor două valori (orizontal) și diferența lor (vertical, prima coloană minus a doua). Eroarea sistematică este diferența medie, un decalaj constant între metode. Aproximativ 95% din diferențe se află între limitele de concordanță (eroare sistematică ± 1,96 SD). Dacă acest interval este suficient de mic, hotărăște domeniul de specialitate. Dacă diferența crește sau scade odată cu media (pantă cu p < ,05), limitele nu sunt la fel de valabile peste tot.

Pentru exact două coloane numerice, typical error apare alături, restrâns: se aplică la două măsurători ale acelorași persoane fără o intervenție între ele și arată cu cât se abate, de regulă, o singură măsurătoare. Schimbarea sa a mediei este explicit „a doua măsurătoare minus prima”; Bland-Altman calculează prima minus a doua, unde același număr are semnul opus. Mai multe în articolul „Precizia măsurării: typical error”.

Compararea metodelor: Passing-Bablok și Deming

La exact două coloane numerice (două metode de măsurare), compararea metodelor se află lângă Bland-Altman, restrânsă: arată dacă metodele diferă printr-o valoare fixă sau printr-un factor, cu regresia Passing-Bablok (Passing-Bablok regression) și regresia Deming (λ vizibil și selectabil). Mai multe în articolul „Compararea a două metode de măsurare”.

Cerințe

• Toți evaluatorii au evaluat aceleași cazuri. ICC și Bland-Altman folosesc doar cazurile complete; pagina indică câte au fost excluse.
• Kappa: aceleași categorii în toate coloanele. ICC: numere cu distanțe cu sens între valori.
• Pentru n < 30 apare nota „Puține cazuri”; Bland și Altman recomandă cel puțin 100 pentru limite.

Citirea rezultatului

• Kappa după Landis și Koch (1977): până la ,20 slab, până la ,40 acceptabil, până la ,60 moderat, până la ,80 substanțial, peste aceasta aproape perfect; sub 0 mai rău decât întâmplarea.
• ICC după Koo și Li (2016): sub ,50 slab, până la ,75 moderat, până la ,90 bun, peste aceasta excelent; autorii recomandă să se ia în considerare întregul interval.
• Toate clasificările sunt reguli empirice.

Kappa: κ (pătratic) = ,50, p < ,001, IC 95% [,26; ,74], n = 30

ICC(2,1) = ,74, IC 95% [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 evaluatori, 12 cazuri)

Bland-Altman: eroare sistematică = −0,33, IC 95% [−0,98; 0,32]; limite de concordanță [−2,64; 1,97] (2 instrumente, 15 cazuri)

Pentru specialiști

Concordanța absolută corespunde lui ICC(2,·), consistența lui ICC(3,·). Kappa prin CROSSTABS /STATISTICS=KAPPA. Bland-Altman: eroare sistematică cu interval t; intervalele limitelor sunt exacte după Carkeet (2015, distribuția t necentrală) și deci ceva mai largi și asimetrice față de aproximarea Bland și Altman (1999); R BlandAltmanLeh folosește aproximarea mai grosieră s·√(3/n). De la n = 234 se folosește aproximarea din 1999.

Exemple tipice

• Doi profesori notează aceleași 30 de eseuri: kappa (ponderat pentru note).
• Trei evaluatori acordă puncte acelorași copii: ICC.
• Două instrumente măsoară aceleași persoane: Bland-Altman.