Чи узгоджуються оцінки? (каппа, ICC, Бленд-Альтман)

Коротко

Кілька оцінювачів (наприклад, двоє вчителів) або два методи вимірювання оцінили ті самі випадки; перевіряють, наскільки добре значення збігаються. Обирають стовпці, по одному на оцінювача, щонайменше два. Statable обирає між каппа Коена (два стовпці з категоріями), каппа Флейса (Fleiss' kappa) з альфа Кріппендорфа (Krippendorff's alpha) (три й більше стовпців із категоріями; стаття «Узгодженість між кодувальниками» (intercoder agreement)) та внутрішньокласовою кореляцією (ICC, числа) і дає довірчий інтервал; за рівно двох стовпців із числами додається аналіз Бленда-Алтмана як згортна добавка. PSPP не знає ICC; Statable обчислює його сам.

Каппа чи ICC

• Каппа Коена (κ): для рівно двох стовпців з категоріями (текст, номінальні стовпці або числа щонайбільше із 7 різними значеннями, наприклад оцінки). Каппа підраховує, як часто обидва оцінювачі ставлять однакову оцінку, й віднімає те, що дала б сама випадковість. Для впорядкованих категорій її можна зважувати (лінійно або квадратично).
• ICC: для числових стовпців із багатьма значеннями (наприклад, бали) і за більш ніж двох оцінювачів. Абсолютна узгодженість (типовий вибір) вимагає однакових значень. Консистентність допускає сталу різницю між оцінювачами (один оцінювач завжди ставить на 2 бали більше), але вимагає однакових відстаней; окрема оцінка або середнє всіх оцінювачів (надійніше).
• Каппа Флейса (Fleiss' kappa) й альфа Кріппендорфа (Krippendorff's alpha): за трьох і більше стовпців із категоріями. За рівно двох стовпців альфа Кріппендорфа стоїть під каппа Коена; додаються відсоткова узгодженість (percent agreement) і коефіцієнт Бреннана-Предігера (Brennan-Prediger coefficient). Відсутні кодування дозволені (див. «Узгодженість між кодувальниками» (intercoder agreement)).
• Для стовпців із числами на аркуші можна перемикатися між каппа та ICC.

Діаграма Бленда-Альтмана: наскільки великі різниці?

ICC співвідносить розбіжність із відмінностями між випадками; він не каже, наскільки великі розбіжності в одиниці вимірювання. Діаграма показує для кожного випадку середнє обох значень (горизонтально) і їхню різницю (вертикально, перший стовпець мінус другий). Систематична похибка - це середня різниця, стале зміщення між методами. Приблизно 95% різниць лежать між межами узгодженості (систематична похибка ± 1,96 SD). Чи достатньо вузький цей діапазон, вирішує предметна галузь. Якщо різниця зростає або спадає разом із середнім (нахил із p < ,05), межі діють не всюди однаково добре.

Для рівно двох числових стовпців поруч стоїть згорнутий typical error: він стосується двох вимірювань тих самих осіб без втручання (intervention) між ними й показує, наскільки окреме вимірювання типово відхиляється. Його зміна середнього - явно «друге вимірювання мінус перше»; Бленд-Альтман рахує перше мінус друге, де те саме число має протилежний знак. Докладніше в статті «Точність вимірювання: typical error».

Порівняння методів: Пассінг-Баблок і Демінг

За рівно двох числових стовпців (два методи вимірювання) порівняння методів (method comparison) стоїть поруч із діаграмою Бленда-Альтмана, згорнуте: воно показує, чи відрізняються методи на сталу величину чи на множник, за допомогою регресії Пассінга-Баблока (Passing-Bablok regression) та регресії Демінга (λ видно й можна вибрати). Докладніше - у статті «Порівняння двох методів вимірювання».

Умови

• Усі оцінювачі оцінили ті самі випадки. ICC і діаграма Бленда-Альтмана використовують лише повні випадки; сторінка вказує кількість пропущених.
• Каппа: однакові категорії в усіх стовпцях. ICC: числа зі змістовними інтервалами.
• За n < 30 з’являється примітка «Мало спостережень»; Бленд і Альтман радять для меж щонайменше 100.

Як читати результат

• Каппа за Landis і Koch (1977): до ,20 незначна, до ,40 задовільна, до ,60 помірна, до ,80 суттєва, вище - майже досконала; нижче 0 - гірша за випадкову.
• ICC за Koo і Li (2016): нижче ,50 погана, до ,75 помірна, до ,90 добра, вище - відмінна; автори радять розглядати весь інтервал.
• Усі класифікації - емпіричні правила.

Каппа: κ (квадратична) = ,50, p < ,001, 95% ДІ [,26; ,74], n = 30

ICC(2,1) = ,74, 95% ДІ [,45; ,91]; F(11, 22) = 9,10, p < ,001 (3 оцінювачі, 12 випадків)

Бленд-Альтман: систематична похибка = −0,33, 95% ДІ [−0,98; 0,32]; межі узгодженості (limits of agreement) [−2,64; 1,97] (2 прилади, 15 випадків)

Для фахівців

Абсолютний збіг (absolute agreement) відповідає ICC(2,·), консистентність - ICC(3,·). Каппа - через CROSSTABS /STATISTICS=KAPPA. Бленд-Альтман: систематична похибка з t-інтервалом; інтервали меж точні за Carkeet (2015, нецентральний t-розподіл) і тому дещо ширші та несиметричні порівняно з наближенням Bland та Altman (1999); R BlandAltmanLeh використовує грубіше наближення s·√(3/n). Починаючи з n = 234 використовується наближення 1999 року.

Типові приклади

• Двоє вчителів оцінюють ті самі 30 есеїв: каппа (зважена для оцінок).
• Троє оцінювачів виставляють бали тим самим дітям: ICC.
• Два прилади вимірюють одних і тих самих осіб: Бленд-Альтман.