Stämmer bedömningar överens? (kappa, ICC, Bland-Altman)

Kort sagt

Flera bedömare (till exempel två lärare) eller två mätmetoder har bedömt samma fall; man prövar hur väl värdena stämmer överens. Du väljer kolumnerna, en per bedömare, minst två. Statable väljer mellan Cohens kappa (två kolumner med kategorier), Fleiss kappa med Krippendorffs alfa (tre eller fler kolumner med kategorier; artikeln ”Överensstämmelse mellan kodare”) och intraklasskorrelation (ICC, tal) och anger ett konfidensintervall; vid exakt två kolumner med tal tillkommer Bland-Altman-analys som ett hopfällbart tillägg. PSPP har ingen ICC; Statable beräknar den själv.

Kappa eller ICC

• Cohens kappa (κ): med exakt två kolumner med kategorier (text, nominala kolumner eller tal med högst 7 olika värden, till exempel betyg). Kappa räknar hur ofta båda ger samma bedömning och drar ifrån det som slumpen ensam skulle ge. Med ordnade kategorier kan den viktas (linjärt eller kvadratiskt).
• ICC: för talkolumner med många värden (till exempel poäng) och för fler än två bedömare. Absolut överensstämmelse (standard) kräver identiska värden. Konsistens tillåter en fast skillnad mellan bedömarna (en bedömare ger alltid 2 poäng mer) men kräver lika stora avstånd; enskild bedömning eller medelvärdet av alla bedömare (tillförlitligare).
• Fleiss kappa och Krippendorffs alfa: vid tre eller fler kolumner med kategorier. Vid exakt två kolumner står Krippendorffs alfa under Cohens kappa; därtill kommer procentuell överensstämmelse (percent agreement) och Brennan-Prediger-koefficienten. Saknade kodningar är tillåtna (se ”Överensstämmelse mellan kodare”).
• Vid kolumner med tal kan du på bladet växla mellan kappa och ICC.

Bland-Altman: hur stora är skillnaderna?

ICC sätter avvikelserna i förhållande till skillnaderna mellan fallen; hur stora de är i mätenheten säger den inte. Diagrammet visar för varje fall medelvärdet av båda värdena (vågrätt) och deras skillnad (lodrätt, första minus andra kolumnen). Bias är den genomsnittliga skillnaden, en konstant förskjutning mellan metoderna. Ungefär 95 % av skillnaderna ligger mellan gränserna för överensstämmelse (bias ± 1,96 SD). Om det här intervallet är litet nog avgör ämnesområdet. Ökar eller minskar skillnaden med medelvärdet (lutning med p < ,05) gäller gränserna inte lika bra överallt.

Vid exakt två talkolumner står typical error bredvid, hopfälld: den gäller för två mätningar av samma personer utan insats emellan och visar hur långt en enskild mätning typiskt ligger fel. Dess förändring av medelvärdet är uttryckligen ”andra minus första mätningen”; Bland-Altman räknar första minus andra, där samma tal har motsatt tecken. Mer i artikeln ”Mätprecision: typical error”.

Metodjämförelse: Passing-Bablok och Deming

Med exakt två talkolumner (två mätmetoder) står metodjämförelsen (method comparison) bredvid Bland-Altman, hopfälld: den visar om metoderna skiljer sig åt med ett fast belopp eller med en faktor, med Passing-Bablok och Deming (λ synligt och valbart). Mer i artikeln ”Jämföra två mätmetoder”.

Förutsättningar

• Alla bedömare bedömde samma fall. ICC och Bland-Altman använder bara fullständiga fall; sidan anger hur många som utelämnades.
• Kappa: samma kategorier i alla kolumner. ICC: tal med meningsfulla avstånd.
• Vid n < 30 visas anmärkningen ”Få fall”; Bland och Altman rekommenderar minst 100 för gränserna.

Läsa resultatet

• Kappa enligt Landis och Koch (1977): upp till ,20 obetydlig, upp till ,40 svag, upp till ,60 måttlig, upp till ,80 betydande, däröver nästan perfekt; under 0 sämre än slumpen.
• ICC enligt Koo och Li (2016): under ,50 låg, upp till ,75 måttlig, upp till ,90 god, däröver utmärkt; de rekommenderar att se på hela intervallet.
• Alla indelningar är tumregler.

Kappa: κ (kvadratisk) = ,50, p < ,001, 95 % KI [,26; ,74], n = 30

ICC(2,1) = ,74, 95 % KI [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 bedömare, 12 fall)

Bland-Altman: bias = −0,33, 95 % KI [−0,98; 0,32]; gränser för överensstämmelse (limits of agreement) [−2,64; 1,97] (2 instrument, 15 fall)

För specialister

Absolut överensstämmelse (absolute agreement) motsvarar ICC(2,·), konsistens ICC(3,·). Kappa via CROSSTABS /STATISTICS=KAPPA. Bland-Altman: bias med ett t-intervall; gränsernas intervall är exakta enligt Carkeet (2015, icke-central t-fördelning) och därmed något bredare och asymmetriska jämfört med approximationen av Bland och Altman (1999); R BlandAltmanLeh använder den grövre approximationen s·√(3/n). Från n = 234 används approximationen från 1999.

Typiska exempel

• Två lärare bedömer samma 30 uppsatser: kappa (viktad för betyg).
• Tre bedömare ger poäng för samma barn: ICC.
• Två instrument mäter samma personer: Bland-Altman.