Shodují se hodnocení? (kappa, ICC, Bland-Altman)

Stručně

Několik hodnotitelů (například dvě učitelky) nebo dvě metody měření posoudily stejné případy; zjišťuje se, jak dobře se hodnoty shodují. Vybírají se sloupce, jeden na hodnotitele, nejméně dva. Statable volí mezi Cohenovým kappa (dva sloupce s kategoriemi), Fleissovým kappa s Krippendorffovým alfa (tři a více sloupců s kategoriemi; článek „Shoda mezi kodéry (intercoder agreement)“) a vnitrotřídní korelací (ICC, čísla) a uvádí interval spolehlivosti; u právě dvou sloupců s čísly přibude analýza Blanda a Altmana jako sbalitelný doplněk. PSPP ICC nezná; Statable ho počítá samo.

Kappa nebo ICC

• Cohenovo kappa (κ): pro přesně dva sloupce s kategoriemi (text, nominální sloupce nebo čísla s nejvýše 7 různými hodnotami, např. známky). Kappa počítá, jak často se obě hodnocení shodují, a odečítá, co by dala samotná náhoda. U seřazených kategorií lze vážit (lineárně nebo kvadraticky).
• ICC: u číselných sloupců s mnoha hodnotami (například body) a při více než dvou hodnotitelích. Absolutní shoda (výchozí) vyžaduje stejné hodnoty. Konzistence připouští stálý rozdíl mezi hodnotiteli (jeden hodnotitel dává vždy o 2 body více), ale vyžaduje stejné odstupy; jediné hodnocení nebo průměr všech hodnotitelů (reliabilnější).
• Fleissovo kappa a Krippendorffovo alfa (Krippendorff's alpha): u tří a více sloupců s kategoriemi. U právě dvou sloupců stojí Krippendorffovo alfa pod Cohenovým kappa; přibývá procentuální shoda (percent agreement) a Brennanův-Predigerův koeficient (Brennan-Prediger coefficient). Chybějící kódování jsou povolena (viz „Shoda mezi kodéry (intercoder agreement)“).
• U sloupců s čísly lze na listu přepínat mezi kappa a ICC.

Bland-Altman: jak velké jsou rozdíly?

ICC vztahuje neshodu k rozdílům mezi případy; neříká, jak velké jsou rozdíly v jednotce měření. Graf ukazuje pro každý případ průměr obou hodnot (vodorovně) a jejich rozdíl (svisle, první sloupec minus druhý). Systematická chyba je průměrný rozdíl, stálý posun mezi metodami. Přibližně 95 % rozdílů leží mezi mezemi shody (limits of agreement) (systematická chyba ± 1,96 SD). Zda je toto rozmezí dost malé, rozhoduje obor. Pokud rozdíl s průměrem roste nebo klesá (sklon s p < ,05), meze neplatí všude stejně dobře.

U právě dvou číselných sloupců stojí vedle něj sbalený typical error: platí pro dvě měření týchž osob bez zásahu mezi nimi a ukazuje, o kolik se jedno měření typicky mýlí. Jeho změna průměru je výslovně „druhé měření minus první“; Bland-Altman počítá první minus druhé, kde má stejné číslo opačné znaménko. Více v článku „Přesnost měření: typical error“.

Srovnání metod: Passing-Bablok a Deming

U přesně dvou číselných sloupců (dvě metody měření) stojí srovnání metod vedle Bland-Altmanova diagramu, sbalené: ukazuje, zda se metody liší pevnou hodnotou, nebo činitelem, pomocí Passingovy-Bablokovy a Demingovy regrese (λ viditelné a volitelné). Více v článku „Srovnání dvou metod měření“.

Požadavky

• Všichni hodnotitelé posuzovali stejné případy. ICC a Bland-Altman počítají jen s úplnými případy; list uvádí, kolik jich bylo vynecháno.
• Kappa: stejné kategorie ve všech sloupcích. ICC: čísla se smysluplnými intervaly.
• Při n < 30 se zobrazí upozornění „Málo případů“; Bland a Altman doporučují pro meze alespoň 100.

Čtení výsledku

• Kappa podle Landise a Kocha (1977): do ,20 slabá, do ,40 přijatelná, do ,60 střední, do ,80 značná, výš téměř dokonalá; pod 0 horší než náhoda.
• ICC podle Koo a Li (2016): pod ,50 slabá, do ,75 střední, do ,90 dobrá, výš výborná; autoři doporučují brát v úvahu celý interval.
• Všechna zařazení jsou orientační pravidla (rule of thumb).

Kappa: κ (kvadratická) = ,50, p < ,001, 95% CI [,26; ,74], n = 30

ICC(2,1) = ,74, 95% CI [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 hodnotitelé, 12 případů)

Bland-Altman: systematická chyba = −0,33, 95% CI [−0,98; 0,32]; meze shody (limits of agreement) [−2,64; 1,97] (2 přístroje, 15 případů)

Pro odborníky

Absolutní shoda (absolute agreement) odpovídá ICC(2,·), konzistence ICC(3,·). Kappa přes CROSSTABS /STATISTICS=KAPPA. Bland-Altman: systematická chyba s intervalem t; intervaly mezí jsou přesné podle Carkeeta (2015, necentrální rozdělení t) a tudíž poněkud širší a asymetrické ve srovnání s aproximací Blanda a Altmana (1999); R BlandAltmanLeh používá hrubší aproximaci s·√(3/n). Od n = 234 se používá aproximace z roku 1999.

Typické příklady

• Dva učitelé známkují týchž 30 slohových prací: kappa (vážené pro známky).
• Tři hodnotitelé dávají body týmž dětem: ICC.
• Dva přístroje měří tytéž osoby: Bland-Altman.