Упорядкування відкритих відповідей (open-ended response) (категоризація вільного тексту)

Коротко

Короткі вільні тексти з анкети (наприклад, «Чого бракувало на семінарі?») не можна підрахувати безпосередньо. Тут їх розподіляють за категоріями: особа, яка аналізує дані, визначає категорії та відносить кожну відповідь до категорії; Statable підраховує, показує частоти й на вимогу записує в дані стовпці, які можна використати для подальшого аналізу (наприклад, категорія за освітньою програмою). Statable нічого не відносить до категорій самостійно: без ШІ та без надсилання тексту будь-куди.

Як виглядає таблиця

Один рядок на особу й один текстовий стовпець із відповіддю (одна відповідь на рядок). Допомагає стовпець із ідентифікатором (Nr, ID): Statable розпізнає за ним рядки; без ідентифікатора діє номер рядка. Результат - нові стовпці: за однієї категорії на відповідь - стовпець груп із кодами від 1 до k і категоріями як мітками значень, за кількох категорій на відповідь (у розділі «Більше параметрів») - по одному стовпцю 0/1 на категорію, створені як набір множинних відповідей (multiple response set).

Кроки

1. Прочитайте вибірку відповідей і створіть категорії. Індуктивно означає, що категорії виникають із матеріалу; дедуктивно - що вони походять із теорії чи дослідницького питання. Часто це суміш (Kuckartz і Rädiker, 2022; Mayring, 2022).
2. Запишіть для кожної категорії короткий опис і приклад-якір (anchor example) (інструкція з кодування, coding guide). Вона фіксує, що належить до категорії, і допомагає другій особі відносити відповіді так само.
3. Віднесення відповідей: по одній або списком, клацанням чи клавішами від 1 до 9 (0 скасовує віднесення). Клавіші працюють лише тоді, коли фокус у віднесенні, ніколи - у текстовому полі.
4. Перевірте лічильник: скільки осіб не мають відповіді й скільки відповідей ще відкриті.
5. «Записати в дані» записує стовпці (один крок скасування). Потім «Оцінити зараз» веде до питання «Як щось розподілене?».

Три стани на рядок

Кожен рядок перебуває рівно в одному з трьох станів: немає відповіді (порожній текст), відповідь ще відкрита або віднесена. Порожні й відкриті вважаються пропущеними: їх підраховують і ніколи мовчки не заповнюють «без категорії» чи нулем. Якщо потрібно зафіксувати «ніде не підходить», створіть категорію «Інше».

Як читати результат

• Таблиця дає n для кожної категорії та відсоток осіб із віднесеною відповіддю. База зазначена в заголовку стовпця («база 31»).
• За кількох категорій на відповідь додається відсоток згадувань. Відсотки осіб тоді в сумі дають більше 100%, бо одна відповідь враховується кілька разів; Statable говорить про це одним реченням.
• Відповіді, що ще відкриті, у таблиці відсутні; їхню кількість показано вище («12 відповідей ще відкриті»).
• Таблиця описує ці відповіді. Вона нічого не перевіряє й не може бути узагальнена на інших осіб: ні тесту, ні p-значення.

Повторне кодування та узгодженість

Одна особа кодує суб’єктивно. Тому друга особа відносить ті самі відповіді до тих самих категорій, не бачачи першого віднесення. «Створити повторне кодування» (second coding) робить для цього окреме віднесення; у повторному кодуванні перше приховано. Коли обидва кодування записано в дані, «Перевірити узгодженість» відкриває питання «Чи узгоджуються оцінки?» з обома стовпцями (каппа Коена, альфа Крипендорфа). За кількох категорій на відповідь узгодженість перевіряється для кожної категорії. Для справді незалежного кодування друга особа працює у власній копії файлу проєкту.

Умови та обмеження

• Це призначено для коротких вільних текстів в анкеті (від одного до кількох речень), а не для інтерв’ю чи довгих текстів. Для них підходять програми якісного контент-аналізу, як-от MAXQDA, ATLAS.ti, QCAmap чи QualCoder. Statable не є програмою для кодування: немає мемо й вкладеної (nested) системи категорій.
• Автоматичної категоризації та ШІ немає (приватність, відстежуваність). Кожне віднесення робить особа.
• Наскільки надійний результат, залежить від інструкції з кодування (coding guide) та узгодженості двох осіб, а не від кількості відповідей.
• Рядки розпізнаються за стовпцем з ідентифікатором або за номером рядка. Без ідентифікатора видалення чи нове сортування рядків зсуває віднесення.
• Розриви абзаців у довгих відповідях під час зчитування файлу стають пробілами.
• Під час повторного запису власні стовпці перезаписуються; інший стовпець із тією самою назвою залишається недоторканим, а новий стовпець отримує номер у назві.

З 31 відповіді з віднесенням 12 осіб (38,7%) згадали практику; 2 відповіді були ще відкриті.

Для фахівців

Власний код, без тестової статистики. Відсоток осіб = відповіді з категорією / відповіді принаймні з однією категорією; відсоток згадувань = n / сума всіх віднесень. Одна категорія на відповідь: коди від 1 до k у порядку списку категорій, пропущено для порожніх і відкритих. Кілька категорій: 0/1 на категорію (1 віднесено, 0 відповідь є, але іншої категорії, пропущено для порожніх чи відкритих), набір множинних відповідей (multiple response set) зі значенням підрахунку 1. Еталонні значення походять із R (скрипт scripts/welle4-erwartet.R); стовпці, створені в PSPP, звіряються з ними. Запис у дані - це одна команда PSPP (COMPUTE та IF з $CASENUM, VALUE LABELS, VARIABLE LEVEL).

Типові приклади

• «Чого бракувало на семінарі?»: категорії, як-от практика, зворотний зв’язок, час; потім перехресна таблиця показує, чи різняться освітні програми.
• Поле «Інше, а саме …» питання з фіксованими відповідями.

Джерела

Kuckartz, U. і Rädiker, S. (2022). Qualitative Inhaltsanalyse. Methoden, Praxis, Umsetzung mit Software und künstlicher Intelligenz (розд. 3 і 4). Beltz Juventa. Mayring, P. (2022). Qualitative Inhaltsanalyse. Grundlagen und Techniken. Beltz.