Porządkowanie odpowiedzi otwartych (kategoryzowanie tekstu swobodnego) (open-ended response)

W skrócie

Krótkich tekstów swobodnych z kwestionariusza (na przykład „Czego brakowało na seminarium?”) nie można policzyć bezpośrednio. Tutaj są porządkowane w kategorie: osoba analizująca dane określa kategorie i przypisuje każdą odpowiedź; Statable liczy, pokazuje liczebności i na życzenie zapisuje do danych kolumny, których można użyć w dalszej analizie (na przykład kategoria według kierunku studiów). Statable niczego nie przypisuje samodzielnie: bez AI i bez wysyłania tekstu gdziekolwiek.

Jak wygląda tabela

Jeden wiersz na osobę i jedna kolumna tekstowa z odpowiedzią (jedna odpowiedź w wierszu). Pomaga kolumna z identyfikatorem (Nr, ID): Statable rozpoznaje po niej wiersze; bez identyfikatora liczy się numer wiersza. Wynikiem są nowe kolumny: przy jednej kategorii na odpowiedź kolumna grup z kodami od 1 do k i kategoriami jako etykietami wartości, przy kilku kategoriach na odpowiedź (w części „Więcej opcji”) po jednej kolumnie 0/1 na kategorię, utworzone jako zestaw odpowiedzi wielokrotnych (multiple response set).

Kroki

1. Przeczytaj próbkę odpowiedzi i utwórz kategorie. Indukcyjnie znaczy, że kategorie wyłaniają się z materiału; dedukcyjnie, że pochodzą z teorii lub pytania badawczego. Często jest to mieszanka (Kuckartz i Rädiker, 2022; Mayring, 2022).
2. Zapisz dla każdej kategorii krótki opis i przykład kotwiczący (anchor example) (instrukcja kodowania (codebook)). Mówi ona, co należy do kategorii, i pomaga drugiej osobie przypisywać w ten sam sposób.
3. Przypisywanie odpowiedzi: po jednej lub jako lista, kliknięciem lub klawiszami od 1 do 9 (0 usuwa przypisanie). Klawisze działają tylko wtedy, gdy fokus jest w przypisaniu, nigdy w polu tekstowym.
4. Sprawdź licznik: ile osób nie ma odpowiedzi i ile odpowiedzi jest jeszcze otwartych.
5. „Zapisz do danych” zapisuje kolumny (jeden krok cofania). Potem „Oceń teraz” prowadzi do pytania „Jak coś jest rozłożone?”.

Trzy stany w wierszu

Każdy wiersz jest dokładnie w jednym z trzech stanów: brak odpowiedzi (pusty tekst), odpowiedź jeszcze otwarta lub przypisana. Puste i otwarte liczą się jako braki danych: są liczone i nigdy po cichu wypełniane „brakiem kategorii” ani zerem. Jeśli ma być zapisane „nigdzie nie pasuje”, utwórz kategorię „Inne”.

Odczytywanie wyniku

• Tabela podaje n dla każdej kategorii i procent osób z przypisaną odpowiedzią. Podstawa jest w nagłówku kolumny („podstawa 31”).
• Przy kilku kategoriach na odpowiedź dochodzi procent wspomnień. Procenty osób sumują się wtedy do więcej niż 100%, ponieważ jedna odpowiedź liczy się wielokrotnie; Statable mówi o tym w jednym zdaniu.
• Odpowiedzi, które są jeszcze otwarte, brakują w tabeli; ich liczba jest pokazana powyżej („12 odpowiedzi jeszcze otwartych”).
• Tabela opisuje te odpowiedzi. Niczego nie testuje i nie można jej uogólniać na inne osoby: nie ma testu ani wartości p.

Drugie kodowanie i zgodność

Jedna osoba koduje (coder) subiektywnie. Dlatego druga osoba przypisuje te same odpowiedzi do tych samych kategorii, nie widząc pierwszego przypisania. „Utwórz drugie kodowanie (second coding)” tworzy do tego osobne przypisanie; w drugim kodowaniu pierwsze jest ukryte. Gdy oba kodowania są zapisane do danych, „Sprawdź zgodność” otwiera pytanie „Czy oceny się zgadzają?” z obiema kolumnami (kappa Cohena, alfa Krippendorffa). Przy kilku kategoriach na odpowiedź zgodność sprawdza się dla każdej kategorii. Aby kodowanie było naprawdę niezależne, druga osoba pracuje we własnej kopii pliku projektu.

Założenia i ograniczenia

• Przeznaczone jest to do krótkich tekstów swobodnych w kwestionariuszu (od jednego do kilku zdań), a nie do wywiadów ani długich tekstów. Do nich nadają się programy do jakościowej analizy treści, takie jak MAXQDA, ATLAS.ti, QCAmap lub QualCoder. Statable nie jest programem do kodowania: brak memo i zagnieżdżonego systemu kategorii.
• Nie ma automatycznej kategoryzacji ani AI (prywatność, możliwość prześledzenia). Każde przypisanie pochodzi od osoby.
• To, jak wiarygodny jest wynik, zależy od instrukcji kodowania (codebook) i od zgodności dwóch osób, a nie od liczby odpowiedzi.
• Wiersze są rozpoznawane po kolumnie z identyfikatorem lub po numerze wiersza. Bez identyfikatora usunięcie lub ponowne posortowanie wierszy przesuwa przypisanie.
• Podziały akapitów w długich odpowiedziach stają się spacjami przy wczytywaniu pliku.
• Przy ponownym zapisie własne kolumny są nadpisywane; inna kolumna o tej samej nazwie pozostaje nietknięta, a nowa kolumna dostaje numer w nazwie.

Z 31 odpowiedzi z przypisaniem 12 osób (38,7%) wspomniało o praktyce; 2 odpowiedzi były jeszcze otwarte.

Dla specjalistów

Własny kod, bez statystyki testowej. Procent osób = odpowiedzi z daną kategorią / odpowiedzi z co najmniej jedną kategorią; procent wspomnień = n / suma wszystkich przypisań. Jedna kategoria na odpowiedź: kody od 1 do k w kolejności listy kategorii, brak danych dla pustych i otwartych. Kilka kategorii: 0/1 na kategorię (1 przypisano, 0 odpowiedziano inną kategorią, brak danych dla pustych lub otwartych), zestaw odpowiedzi wielokrotnych (multiple response set) z wartością zliczaną 1. Wartości odniesienia pochodzą z R (skrypt scripts/welle4-erwartet.R); kolumny utworzone w PSPP są z nimi porównywane. Zapis do danych to jedno polecenie PSPP (COMPUTE i IF z $CASENUM, VALUE LABELS, VARIABLE LEVEL).

Typowe przykłady

• „Czego brakowało na seminarium?”: kategorie takie jak praktyka, informacja zwrotna, czas; potem tabela krzyżowa pokazuje, czy kierunki studiów się różnią.
• Pole „Inne, mianowicie …” pytania ze stałymi odpowiedziami.

Źródła

Kuckartz, U. i Rädiker, S. (2022). Qualitative Inhaltsanalyse. Methoden, Praxis, Umsetzung mit Software und künstlicher Intelligenz (rozdz. 3 i 4). Beltz Juventa. Mayring, P. (2022). Qualitative Inhaltsanalyse. Grundlagen und Techniken. Beltz.