Stemmen beoordelingen overeen? (kappa, ICC, Bland-Altman)

Kort

Meerdere beoordelaars (bijvoorbeeld twee docenten) of twee meetmethoden hebben dezelfde gevallen beoordeeld; er wordt gekeken hoe goed de waarden overeenstemmen. Je kiest de kolommen, één per beoordelaar, minstens twee. Statable kiest tussen Cohens kappa (twee kolommen met categorieën), Fleiss' kappa met Krippendorffs alfa (drie of meer kolommen met categorieën; artikel “Overeenstemming tussen codeurs”) en de intraclasscorrelatie (ICC, getallen) en geeft een betrouwbaarheidsinterval; bij precies twee kolommen met getallen komt de Bland-Altman-analyse erbij als inklapbare toevoeging. PSPP kent geen ICC; Statable rekent die zelf uit.

Kappa of ICC

• Cohens kappa (κ): bij precies twee kolommen met categorieën (tekst, nominale kolommen of getallen met hoogstens 7 verschillende waarden, bijvoorbeeld cijfers). Kappa telt hoe vaak beide beoordelaars hetzelfde oordeel geven en trekt af wat het toeval alleen zou opleveren. Bij geordende categorieën kan het worden gewogen (lineair of kwadratisch).
• ICC: bij getallenkolommen met veel waarden (bijvoorbeeld punten) en bij meer dan twee beoordelaars. Absolute overeenstemming (standaard) vereist identieke waarden. Consistentie staat een vast verschil tussen beoordelaars toe (een beoordelaar geeft steeds 2 punten meer), maar vereist dezelfde afstanden; enkele beoordeling of het gemiddelde van alle beoordelaars (betrouwbaarder).
• Fleiss' kappa en Krippendorffs alfa: bij drie of meer kolommen met categorieën. Bij precies twee kolommen staat Krippendorffs alfa onder Cohens kappa; daarbij komen procentuele overeenstemming (percent agreement) en de Brennan-Prediger-coëfficiënt (Brennan-Prediger coefficient). Ontbrekende codeeringen zijn toegestaan (zie “Overeenstemming tussen codeurs”).
• Bij kolommen met getallen kun je op het blad schakelen tussen kappa en ICC.

Bland-Altman: hoe groot zijn de verschillen?

De ICC zet de afwijkingen in verhouding tot de verschillen tussen de gevallen; hoe groot ze zijn in de eenheid van de meting, zegt hij niet. De grafiek toont voor elk geval het gemiddelde van beide waarden (horizontaal) en hun verschil (verticaal, eerste min tweede kolom). De bias is het gemiddelde verschil, een constante verschuiving tussen de methoden. Ongeveer 95% van de verschillen ligt tussen de overeenstemmingsgrenzen (limits of agreement, bias ± 1,96 SD). Of deze marge klein genoeg is, bepaalt het vakgebied. Stijgt of daalt het verschil met het gemiddelde (helling met p < ,05), dan gelden de grenzen niet overal even goed.

Bij precies twee getalskolommen staat de typical error er ingeklapt naast: hij geldt voor twee metingen van dezelfde personen zonder interventie ertussen en laat zien hoe ver een enkele meting typisch afwijkt. Zijn verandering van het gemiddelde is uitdrukkelijk “tweede min eerste meting”; Bland-Altman rekent eerste min tweede, waar hetzelfde getal het tegengestelde teken heeft. Meer in het artikel “Meetnauwkeurigheid: typical error”.

Methodevergelijking: Passing-Bablok en Deming

Bij precies twee getalkolommen (twee meetmethoden) staat de methodevergelijking (method comparison) naast Bland-Altman, ingeklapt: ze laat zien of de methoden verschillen met een vast bedrag of met een factor, met Passing-Bablok en Deming (λ zichtbaar en kiesbaar). Meer in het artikel “Twee meetmethoden vergelijken”.

Voorwaarden

• Alle beoordelaars hebben dezelfde gevallen beoordeeld. De ICC en Bland-Altman rekenen alleen met volledige gevallen; de pagina noemt het aantal weggelaten gevallen.
• Kappa: dezelfde categorieën in alle kolommen. ICC: getallen met zinvolle intervallen.
• Bij n < 30 verschijnt de opmerking “Weinig gevallen”; Bland en Altman raden minstens 100 aan voor de grenzen.

Het resultaat lezen

• Kappa volgens Landis en Koch (1977): tot ,20 gering, tot ,40 redelijk, tot ,60 matig, tot ,80 aanzienlijk, daarboven bijna perfect; onder 0 slechter dan toeval.
• ICC volgens Koo en Li (2016): onder ,50 gering, tot ,75 matig, tot ,90 goed, daarboven uitstekend; zij raden aan het hele interval te bekijken.
• Alle indelingen zijn vuistregels.

Kappa: κ (kwadratisch) = ,50, p < ,001, 95%-BI [,26; ,74], n = 30

ICC(2,1) = ,74, 95%-BI [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 beoordelaars, 12 gevallen)

Bland-Altman: bias = −0,33, 95%-BI [−0,98; 0,32]; overeenstemmingsgrenzen (limits of agreement) [−2,64; 1,97] (2 instrumenten, 15 gevallen)

Voor specialisten

Absolute overeenstemming komt overeen met ICC(2,·), consistentie met ICC(3,·). Kappa via CROSSTABS /STATISTICS=KAPPA. Bland-Altman: bias met een t-interval; de intervallen van de grenzen zijn exact volgens Carkeet (2015, niet-centrale t-verdeling) en daardoor wat breder en asymmetrisch ten opzichte van de benadering van Bland en Altman (1999); R BlandAltmanLeh rekent met de grovere benadering s·√(3/n). Vanaf n = 234 wordt de benadering uit 1999 gebruikt.

Typische voorbeelden

• Twee docenten beoordelen dezelfde 30 essays: kappa (gewogen voor cijfers).
• Drie beoordelaars geven punten voor dezelfde kinderen: ICC.
• Twee meetinstrumenten meten dezelfde personen: Bland-Altman.