Egyeznek az értékelések? (kappa, ICC, Bland-Altman)

Röviden

Több értékelő (például két tanár) vagy két mérési módszer ugyanazokat az eseteket értékelte; azt vizsgáljuk, mennyire egyeznek az értékek. Az oszlopokat kell kiválasztani, értékelőnként egyet, legalább kettőt. A Statable választ a Cohen-féle kappa (két kategóriás oszlop), a Fleiss-féle kappa és Krippendorff-féle alfa (három vagy több kategóriás oszlop; „Egyezés a kódolók között” cikk) és az intraosztály-korreláció (ICC, számok) között, és konfidenciaintervallumot ad; pontosan két számoszlopnál a Bland-Altman-elemzés is megjelenik összecsukható kiegészítésként. A PSPP nem ismeri az ICC-t; a Statable maga számolja.

Kappa vagy ICC

• Cohen-féle kappa (κ): pontosan két kategóriaoszlopnál (szöveg, sorrend nélküli csoportok oszlopai, vagy legfeljebb 7 különböző értékű számok, például jegyek). A kappa megszámolja, milyen gyakran ad mindkét értékelő ugyanolyan értékelést, és kivonja azt, amit a véletlen önmagában adna. Rendezett kategóriáknál súlyozható (lineárisan vagy kvadratikusan).
• ICC: sok értékű számoszlopoknál (például pontok) és kettőnél több értékelőnél. Az abszolút egyezés (alapértelmezés) azonos értékeket követel. A konzisztencia megenged egy állandó különbséget az értékelők között (az egyik értékelő mindig 2 ponttal többet ad), de egyenlő távolságokat követel; egyedi értékelés vagy az összes értékelő átlaga (megbízhatóbb).
• Fleiss-féle kappa és Krippendorff-féle alfa: három vagy több kategóriás oszlopnál. Pontosan két oszlopnál a Krippendorff-féle alfa a Cohen-féle kappa alatt áll; hozzájön a százalékos egyezés (percent agreement) és a Brennan-Prediger-együttható. A hiányzó kódolások megengedettek (lásd „Egyezés a kódolók között”).
• Számoszlopoknál a lapon át lehet kapcsolni a kappa és az ICC között.

Bland-Altman: mekkorák a különbségek?

Az ICC az eltéréseket az esetek közötti különbségekhez viszonyítja; azt nem mondja meg, mekkorák a mérés mértékegységében. Az ábra minden esethez megmutatja a két érték átlagát (vízszintes) és a különbségüket (függőleges, az első oszlop mínusz a második). A torzítás (bias) az átlagos különbség, az eljárások közötti állandó eltolódás. A különbségek mintegy 95%-a az egyezési határok (limits of agreement) között van (torzítás ± 1,96 SD). Hogy ez a tartomány elég kicsi-e, azt a szakterület dönti el. Ha a különbség az átlaggal nő vagy csökken (meredekség p < ,05), a határok nem mindenhol érvényesek egyformán jól.

Pontosan két számoszlopnál mellette összecsukva áll a typical error: két mérésre vonatkozik ugyanazokon a személyeken, köztük beavatkozás nélkül, és megmutatja, mennyit téved tipikusan egyetlen mérés. Az átlag változása kifejezetten „második mérés mínusz első”; a Bland-Altman első mínusz másodikat számol, ahol ugyanaz a szám ellenkező előjelű. Bővebben a „Mérési pontosság: typical error” cikkben.

Módszerek összehasonlítása (method comparison): Passing-Bablok és Deming

Pontosan két számoszlopnál (két mérési módszer) a módszerek összehasonlítása (method comparison) a Bland-Altman mellett jelenik meg, összecsukva: megmutatja, hogy a módszerek egy állandó értékkel vagy egy szorzóval térnek-e el, Passing-Bablok és Deming szerint (a λ látható és választható). Bővebben a „Két mérési módszer összehasonlítása” cikkben.

Feltételek

• Minden értékelő ugyanazokat az eseteket értékelte. Az ICC és a Bland-Altman csak a teljes eseteket használja; a lap megadja, hányat hagyott ki.
• Kappa: ugyanazok a kategóriák minden oszlopban. ICC: értelmes távolságú számok.
• n < 30 esetén megjelenik a „Kevés eset” megjegyzés; Bland és Altman az egyezési határokhoz (limits of agreement) legalább 100-at ajánl.

Az eredmény értelmezése

• Kappa Landis és Koch (1977) szerint: ,20-ig csekély, ,40-ig gyenge, ,60-ig mérsékelt, ,80-ig számottevő, fölötte csaknem tökéletes; 0 alatt rosszabb a véletlennél.
• ICC Koo és Li (2016) szerint: ,50 alatt gyenge, ,75-ig mérsékelt, ,90-ig jó, fölötte kiváló; azt javasolják, hogy az egész intervallumot vegyük figyelembe.
• Minden besorolás ökölszabály.

Kappa: κ (kvadratikus) = ,50, p < ,001, 95%-os KI [,26; ,74], n = 30

ICC(2,1) = ,74, 95%-os KI [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 értékelő, 12 eset)

Bland-Altman: torzítás = −0,33, 95%-os KI [−0,98; 0,32]; egyezési határok (limits of agreement) [−2,64; 1,97] (2 műszer, 15 eset)

Szakembereknek

Az abszolút egyezés (absolute agreement) az ICC(2,·)-nek, a konzisztencia az ICC(3,·)-nak felel meg. Kappa a CROSSTABS /STATISTICS=KAPPA révén. Bland-Altman: torzítás t-intervallummal; a határok intervallumai pontosak Carkeet (2015, nem centrális t-eloszlás) szerint, és ezért kissé szélesebbek és aszimmetrikusak Bland és Altman (1999) közelítéséhez képest; az R BlandAltmanLeh a durvább s·√(3/n) közelítést használja. N = 234-től a Statable az 1999-es közelítést használja.

Tipikus példák

• Két tanár osztályozza ugyanazt a 30 esszét: kappa (az osztályzatoknál súlyozva).
• Három értékelő pontot ad ugyanazoknak a gyerekeknek: ICC.
• Két eszköz ugyanazokat a személyeket méri: Bland-Altman.