Zgodność między osobami kodującymi (Fleiss, Krippendorff, Brennan-Prediger) (intercoder agreement)

Do czego służy

Kilka osób przypisało te same jednostki (fragmenty tekstu, otwarte odpowiedzi) do kategorii; sprawdza się wiarygodność kodowania. Wybiera się kolumny (jedna na osobę kodującą, jeden wiersz na jednostkę) w sekcji „Czy oceny się zgadzają?”. Statable pokazuje κ Cohena (dwie osoby kodujące) lub κ Fleissa (od trzech), α Krippendorffa, zgodność procentową (percent agreement) i Brennan-Prediger.

Założenia

• Kodowane niezależnie. Z MAXQDA: wyeksportuj kody według segmentów jako tabelę.
• Kategorie jako tekst lub kody liczbowe. Luki są dozwolone; jednostki z tylko jednym kodowaniem są wymieniane, α je pomija.
• Skala dla α wynika z poziomu pomiaru kolumn (mieszany: najniższy; tekst: nominalny).

Jak odczytać wynik

• κ z 95% przedziałem; oceny słowne według Landisa i Kocha (1977) to konwencja. Przy dwóch osobach kodujących (coders) κ Fleissa byłoby π Scotta, a nie κ Cohena; tam Statable pokazuje κ Cohena.
• α: od ,800 wiarygodne, od ,667 do ,800 tylko wnioski wstępne, poniżej niewiarygodne (Krippendorff, 2004).
• Paradoks kappa (kappa paradox): zgodność od 90%, κ poniżej ,40, z powodu rzadkiej kategorii. Brennan-Prediger (zgodność oczekiwana przypadkowo 1/q) od tego nie zależy.

Jak to opisać

κ Fleissa = ,52, 95% CI [,41; ,63]; α (nominalne) = ,534, 95% CI [,421; ,647]; 40 jednostek, 3 osoby kodujące (coders)

Ograniczenia

• κ zależy od częstości kategorii. α metryczne (interwałowe) zakłada równe odstępy między wartościami; porządkowe wykorzystuje tylko kolejność. Przedziały według Gweta (2014), bez bootstrapu.

Źródła

Kuckartz i Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan i Prediger (1981), Educational and Psychological Measurement 41(3); Landis i Koch (1977), Biometrics 33(1).