Czy oceny są zgodne? (kappa, ICC, Bland-Altman)

W skrócie

Kilku oceniających (na przykład dwoje nauczycieli) lub dwie metody pomiaru oceniło te same przypadki; sprawdza się, jak dobrze wartości się zgadzają. Wybiera się kolumny, po jednej na oceniającego, co najmniej dwie. Statable wybiera między kappa Cohena (dwie kolumny z kategoriami), kappa Fleissa z alfą Krippendorffa (trzy i więcej kolumn z kategoriami; artykuł „Zgodność między osobami kodującymi”) i współczynnikiem korelacji wewnątrzklasowej (ICC, liczby) i podaje przedział ufności; przy dokładnie dwóch kolumnach liczbowych dochodzi analiza Blanda-Altmana jako rozwijany dodatek. PSPP nie zna ICC; Statable liczy je sam.

Kappa czy ICC

• Kappa Cohena (κ): dla dokładnie dwóch kolumn z kategoriami (tekst, kolumny nominalne lub liczby z co najwyżej 7 różnymi wartościami, np. oceny szkolne). Kappa liczy, jak często obie oceny są takie same, i odejmuje to, co dałby sam przypadek. Przy uporządkowanych kategoriach można ją ważyć (liniowo lub kwadratowo).
• ICC: dla kolumn z liczbami o wielu wartościach (na przykład punkty) i przy więcej niż dwóch osobach oceniających. Zgodność absolutna (domyślnie) (absolute agreement) wymaga takich samych wartości. Spójność dopuszcza stałą różnicę między osobami oceniającymi (jedna osoba oceniająca zawsze daje o 2 punkty więcej), ale wymaga takich samych odległości; pojedyncza ocena lub średnia wszystkich osób oceniających (rzetelniejsza).
• Kappa Fleissa i alfa Krippendorffa: przy trzech i więcej kolumnach z kategoriami. Przy dokładnie dwóch kolumnach alfa Krippendorffa stoi pod kappa Cohena; dochodzą zgodność procentowa (percent agreement) i współczynnik Brennana-Predigera (Brennan-Prediger coefficient). Brakujące kodowania są dozwolone (zob. „Zgodność między osobami kodującymi”).
• Przy kolumnach liczbowych na arkuszu można przełączać między kappa a ICC.

Bland-Altman: jak duże są różnice?

ICC odnosi rozbieżność do różnic między przypadkami; nie mówi, jak duże są różnice w jednostce pomiaru. Wykres pokazuje dla każdego przypadku średnią obu wartości (poziomo) i ich różnicę (pionowo, pierwsza kolumna minus druga). Błąd systematyczny to średnia różnica, stałe przesunięcie między metodami. Około 95% różnic leży między granicami zgodności (limits of agreement) (błąd systematyczny ± 1,96 SD). To, czy ten zakres jest dość mały, rozstrzyga dziedzina. Jeśli różnica rośnie lub maleje wraz ze średnią (nachylenie z p < ,05), granice nie obowiązują wszędzie jednakowo dobrze.

Przy dokładnie dwóch kolumnach liczbowych obok pojawia się zwinięty typical error: dotyczy dwóch pomiarów tych samych osób bez interwencji pomiędzy nimi i pokazuje, o ile pojedynczy pomiar typowo się myli. Jego zmiana średniej to wyraźnie „drugi pomiar minus pierwszy”; Bland-Altman liczy pierwszy minus drugi, gdzie ta sama liczba ma przeciwny znak. Więcej w artykule „Precyzja pomiaru: typical error”.

Porównanie metod: Passing-Bablok i Deming

Przy dokładnie dwóch kolumnach liczbowych (dwie metody pomiaru) porównanie metod (method comparison) stoi obok wykresu Blanda-Altmana, zwinięte: pokazuje, czy metody różnią się o stałą wartość, czy o czynnik, z regresją Passinga-Bablok (Passing-Bablok regression) i regresją Deminga (λ widoczne i do wyboru) (Deming regression). Więcej w artykule „Porównanie dwóch metod pomiaru”.

Założenia

• Wszystkie osoby oceniające oceniły te same przypadki. ICC i Bland-Altman używają tylko kompletnych przypadków; strona podaje, ilu pominięto.
• Kappa: te same kategorie we wszystkich kolumnach. ICC: liczby o sensownych odstępach między wartościami.
• Przy n < 30 pojawia się uwaga „Mało przypadków”; Bland i Altman zalecają dla granic co najmniej 100.

Odczytywanie wyniku

• Kappa według Landisa i Kocha (1977): do ,20 słaba, do ,40 dostateczna, do ,60 umiarkowana, do ,80 znaczna, powyżej prawie doskonała; poniżej 0 gorsza niż przypadkowa.
• ICC według Koo i Li (2016): poniżej ,50 słaba, do ,75 umiarkowana, do ,90 dobra, powyżej doskonała; autorzy zalecają, by brać pod uwagę cały przedział.
• Wszystkie klasyfikacje to przybliżone reguły.

Kappa: κ (kwadratowa) = ,50, p < ,001, 95% CI [,26; ,74], n = 30

ICC(2,1) = ,74, 95% CI [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 osoby oceniające, 12 przypadków)

Bland-Altman: błąd systematyczny = −0,33, 95% CI [−0,98; 0,32]; granice zgodności (limits of agreement) [−2,64; 1,97] (2 przyrządy pomiarowe, 15 przypadków)

Dla specjalistów

Zgodność absolutna (absolute agreement) odpowiada ICC(2,·), spójność ICC(3,·). Kappa przez CROSSTABS /STATISTICS=KAPPA. Bland-Altman: błąd systematyczny z przedziałem t; przedziały granic są dokładne według Carkeeta (2015, niecentralny rozkład t), a więc nieco szersze i asymetryczne w porównaniu z przybliżeniem Blanda i Altmana (1999); R BlandAltmanLeh używa grubszego przybliżenia s·√(3/n). Od n = 234 stosowane jest przybliżenie z 1999 roku.

Typowe przykłady

• Dwoje nauczycieli ocenia te same 30 wypracowań: kappa (ważona dla ocen).
• Trzy osoby oceniające przyznają punkty tym samym dzieciom: ICC.
• Dwa narzędzia mierzą te same osoby: Bland-Altman.