Intercoder-Übereinstimmung (Fleiss, Krippendorff, Brennan-Prediger)

Wofür

Mehrere Personen haben dieselben Einheiten (Textstellen, offene Antworten) Kategorien zugeordnet; geprüft wird die Verlässlichkeit der Kodierung. Gewählt werden die Spalten (eine je Kodierende, eine Zeile je Einheit) unter „Stimmen Beurteilungen überein?“. Statable zeigt Cohens κ (zwei Kodierende) oder Fleiss' κ (ab drei), Krippendorffs α, prozentuale Übereinstimmung und Brennan-Prediger.

Voraussetzungen

• Unabhängig kodiert. Aus MAXQDA: die Codes je Segment als Tabelle exportieren.
• Kategorien als Text oder Zahlencodes. Lücken sind erlaubt; Einheiten mit nur einer Kodierung werden genannt, α übergeht sie.
• Die Skala für α folgt dem Messniveau der Spalten (gemischt: das niedrigste; Text: nominal).

Ergebnis lesen

• κ mit 95-%-Intervall; die Wortstufen nach Landis und Koch (1977) sind eine Konvention. Fleiss' κ wäre bei zwei Kodierenden Scotts π, nicht Cohens κ; dort zeigt Statable Cohens κ.
• α: ab ,800 verlässlich, ,667 bis ,800 nur vorläufige Schlüsse, darunter nicht verlässlich (Krippendorff, 2004).
• Kappa-Paradox: Übereinstimmung ab 90 %, κ unter ,40, wegen einer seltenen Kategorie. Brennan-Prediger (Zufallsübereinstimmung 1/q) hängt davon nicht ab.

Ergebnis berichten

Fleiss' κ = ,52, 95 %-KI [,41; ,63]; α (nominal) = ,534, 95 %-KI [,421; ,647]; 40 Einheiten, 3 Kodierende

Grenzen

• κ hängt von der Häufigkeit der Kategorien ab. α metrisch (Intervall) setzt gleiche Abstände zwischen den Werten voraus; ordinal nutzt nur die Reihenfolge. Intervalle nach Gwet (2014), ohne Bootstrap.

Quelle

Kuckartz und Rädiker (2022), Qualitative Inhaltsanalyse; Krippendorff (2004), Human Communication Research 30(3); Gwet (2014), Handbook of Inter-Rater Reliability; Fleiss (1971), Psychological Bulletin 76(5); Brennan und Prediger (1981), Educational and Psychological Measurement 41(3); Landis und Koch (1977), Biometrics 33(1).