Узгодженість між кодувальниками (Fleiss, Krippendorff, Brennan-Prediger)

Для чого це

Кілька людей віднесли ті самі одиниці (уривки тексту, відкриті відповіді (open-ended response)) до категорій; перевіряють надійність кодування. Стовпці (по одному на кодувальника, один рядок на одиницю) обирають у розділі «Чи узгоджуються оцінки?». Statable показує κ Коена (двоє кодувальників) або κ Флейса (від трьох), α Кріппендорфа, відсоткову узгодженість (percent agreement) і Бреннан-Предігер.

Умови

• Закодовано незалежно. З MAXQDA: експортуйте коди за сегментами у вигляді таблиці.
• Категорії як текст або числові коди. Прогалини дозволені; одиниці лише з одним кодуванням називаються, α їх пропускає.
• Шкала для α відповідає рівню вимірювання стовпців (змішаний: найнижчий; текст: номінальний).

Як читати результат

• κ із 95% інтервалом; словесні градації за Landis і Koch (1977) - умовність. За двох кодувальників κ Флейса було б π Скотта, а не κ Коена; там Statable показує κ Коена.
• α: надійно від ,800, від ,667 до ,800 лише попередні висновки, нижче ненадійно (Krippendorff, 2004).
• Парадокс каппа (kappa paradox): узгодженість від 90%, κ нижче ,40 через рідкісну категорію. Бреннан-Предігер (випадкова узгодженість 1/q) від цього не залежить.

Як про це повідомити

κ Флейса = ,52, 95% ДІ [,41; ,63]; α (номінальна) = ,534, 95% ДІ [,421; ,647]; 40 одиниць, 3 кодувальники

Обмеження

• κ залежить від частоти категорій. Метрична α (інтервальна) припускає однакові відстані між значеннями; порядкова використовує лише порядок. Інтервали за Gwet (2014), без bootstrap.

Джерела

Kuckartz і Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan і Prediger (1981), Educational and Psychological Measurement 41(3); Landis і Koch (1977), Biometrics 33(1).