Съгласуват ли се оценките? (каппа, ICC, Бланд-Алтман)

Накратко

Няколко оценяващи (например двама учители) или два метода на измерване са оценили едни и същи случаи; проверява се доколко добре съвпадат стойностите. Избират се колоните, по една на оценяващ, поне две. Statable избира между каппа на Коен (Cohen's kappa) (две колони с категории), каппа на Флайс (Fleiss' kappa) с алфа на Крипендорф (три или повече колони с категории; статия „Съгласие между кодерите“) и вътрекласовата корелация (ICC, числа) и дава доверителен интервал; при точно две колони с числа се добавя анализът на Бланд-Алтман като сгъваема добавка. PSPP не познава ICC; Statable го изчислява сам.

Каппа или ICC

• Каппа на Коен (Cohen's kappa) (κ): при точно две колони с категории (текст, номинални колони или числа с най-много 7 различни стойности, например оценки). Каппа брои колко често и двете оценки съвпадат и изважда онова, което би дал само случаят. При подредени категории може да се претегля (линейно или квадратно).
• ICC: при числови колони с много стойности (например точки) и при повече от двама оценяващи. Абсолютното съгласие (absolute agreement) (по подразбиране) изисква еднакви стойности. Съгласуваността допуска постоянна разлика между оценяващите (един оценяващ винаги дава с 2 точки повече), но изисква еднакви разстояния; единична оценка или средна на всички оценяващи (по-надеждна).
• Каппа на Флайс (Fleiss' kappa) и алфа на Крипендорф: при три или повече колони с категории. При точно две колони алфа на Крипендорф стои под каппа на Коен (Cohen's kappa); добавят се процентното съгласие (percent agreement) и коефициентът на Бренан-Предигър (Brennan-Prediger coefficient). Липсващи кодирания са позволени (вижте „Съгласие между кодерите“).
• При колони с числа на листа може да се превключва между каппа и ICC.

Бланд-Алтман: колко големи са разликите?

ICC съотнася несъгласието към различията между случаите; не казва колко големи са разликите в мерната единица. Диаграмата показва за всеки случай средната на двете стойности (хоризонтално) и тяхната разлика (вертикално, първата колона минус втората). Систематичната грешка е средната разлика, постоянно изместване между методите. Около 95% от разликите лежат между границите на съгласие (систематична грешка ± 1,96 SD). Дали този диапазон е достатъчно малък, решава съответната област. Ако разликата расте или намалява със средната (наклон с p < ,05), границите не важат навсякъде еднакво добре.

При точно две числови колони до него стои свит typical error: той важи за две измервания на едни и същи хора без намеса между тях и показва с колко типично се греши при едно измерване. Промяната на средната му стойност е изрично „второто измерване минус първото“; Бланд-Алтман изчислява първото минус второто, където същото число има обратен знак. Повече в статията „Точност на измерването: typical error“.

Сравнение на методи: Пасинг-Баблок и Деминг

При точно две числови колони (два метода за измерване) сравнението на методи (method comparison) стои до Бланд-Алтман, свито: показва дали методите се различават с фиксирана стойност или с множител, с регресията на Пасинг-Баблок (Passing-Bablok regression) и регресията на Деминг (Deming regression) (λ видимо и избираемо). Повече в статията „Сравняване на два метода за измерване“.

Изисквания

• Всички оценяващи лица са оценили едни и същи случаи. ICC и Бланд-Алтман използват само пълните случаи; страницата посочва колко са изпуснати.
• Каппа: същите категории във всички колони. ICC: числа със смислени интервали.
• При n < 30 се появява бележката „Малко случаи“; Bland и Altman препоръчват поне 100 за границите.

Прочитане на резултата

• Каппа по Landis и Koch (1977): до ,20 слаба, до ,40 приемлива, до ,60 умерена, до ,80 значителна, над това почти пълна; под 0 по-лоша от случайното.
• ICC по Koo и Li (2016): под ,50 лоша, до ,75 умерена, до ,90 добра, над това отлична; авторите препоръчват да се разглежда целият интервал.
• Всички класификации са емпирични правила.

Каппа: κ (квадратична) = ,50, p < ,001, 95% ДИ [,26; ,74], n = 30

ICC(2,1) = ,74, 95% ДИ [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 оценяващи, 12 случая)

Бланд-Алтман: систематична грешка = −0,33, 95% ДИ [−0,98; 0,32]; граници на съгласие (limits of agreement) [−2,64; 1,97] (2 уреда, 15 случая)

За специалисти

Абсолютното съгласие (absolute agreement) съответства на ICC(2,·), съгласуваността - на ICC(3,·). Каппа чрез CROSSTABS /STATISTICS=KAPPA. Бланд-Алтман: систематична грешка с t-интервал; интервалите на границите са точни по Carkeet (2015, нецентрално t-разпределение) и затова са малко по-широки и асиметрични в сравнение с приближението на Bland и Altman (1999); R BlandAltmanLeh използва по-грубото приближение s·√(3/n). От n = 234 нататък се използва приближението от 1999 г.

Типични примери

• Двама учители оценяват едни и същи 30 есета: каппа (претеглена за оценки).
• Трима оценяващи дават точки на едни и същи деца: ICC.
• Два инструмента измерват същите хора: Бланд-Алтман.