Съгласие между кодерите (intercoder agreement) (Флайс, Крипендорф, Бренан-Предигър)

За какво служи

Няколко души са отнесли едни и същи единици (откъси от текст, отворени отговори) към категории; проверява се надеждността на кодирането. Избират се колоните (по една на кодер, един ред на единица) под „Съгласуват ли се оценките?“. Statable показва κ на Коен (двама кодери) или κ на Флайс (от трима), α на Крипендорф, процентното съгласие (percent agreement) и Бренан-Предигър.

Изисквания

• Кодирано независимо. От MAXQDA: експортирайте кодовете по сегменти като таблица.
• Категории като текст или числови кодове. Празнините са позволени; единиците само с едно кодиране се посочват, α ги пропуска.
• Скалата за α следва нивото на измерване на колоните (смесено: най-ниското; текст: номинално).

Как да четете резултата

• κ с 95% интервал; словесните оценки по Landis и Koch (1977) са конвенция. При двама кодери κ на Флайс би било π на Скот, а не κ на Коен; там Statable показва κ на Коен.
• α: надеждно от ,800, от ,667 до ,800 само предварителни изводи, под това ненадеждно (Krippendorff, 2004).
• Парадокс на каппа (kappa paradox): съгласие от 90%, κ под ,40, поради рядка категория. Бренан-Предигър (съгласие по случайност 1/q) не зависи от това.

Как да докладвате

κ на Флайс = ,52, 95% ДИ [,41; ,63]; α (номинално) = ,534, 95% ДИ [,421; ,647]; 40 единици, 3 кодери

Ограничения

• κ зависи от честотата на категориите. Метричната α (интервална) предполага равни разстояния между стойностите; порядковата използва само реда. Интервали по Gwet (2014), без bootstrap.

Източници

Kuckartz и Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan и Prediger (1981), Educational and Psychological Measurement 41(3); Landis и Koch (1977), Biometrics 33(1).