Ταξινόμηση ανοιχτών απαντήσεων (κατηγοριοποίηση ελεύθερου κειμένου)

Εν συντομία

Σύντομα ελεύθερα κείμενα ενός ερωτηματολογίου (για παράδειγμα «Τι έλειπε από το σεμινάριο;») δεν μπορούν να μετρηθούν απευθείας. Εδώ ταξινομούνται σε κατηγορίες: το άτομο που αναλύει τα δεδομένα ορίζει τις κατηγορίες και αντιστοιχίζει κάθε απάντηση· το Statable μετρά, δείχνει τις συχνότητες και, αν ζητηθεί, γράφει στα δεδομένα στήλες που μπορούν να χρησιμοποιηθούν για περαιτέρω ανάλυση (για παράδειγμα η κατηγορία ανά πρόγραμμα σπουδών). Το Statable δεν αντιστοιχίζει τίποτα μόνο του: χωρίς τεχνητή νοημοσύνη και χωρίς να στέλνεται κείμενο πουθενά.

Πώς φαίνεται ο πίνακας

Μία γραμμή ανά άτομο και μία στήλη κειμένου με την απάντηση (μία απάντηση ανά γραμμή). Βοηθά μια στήλη αναγνωριστικού (Nr, ID): το Statable αναγνωρίζει τις γραμμές από αυτήν· χωρίς αναγνωριστικό μετρά ο αριθμός γραμμής. Το αποτέλεσμα είναι νέες στήλες: με μία κατηγορία ανά απάντηση μια στήλη ομάδων με τους κωδικούς 1 έως k και τις κατηγορίες ως ετικέτες τιμών, με πολλές κατηγορίες ανά απάντηση (στις «Περισσότερες επιλογές») μία στήλη 0/1 ανά κατηγορία, δημιουργημένη ως σύνολο πολλαπλών απαντήσεων (multiple response set).

Βήματα

1. Διαβάστε ένα δείγμα των απαντήσεων και δημιουργήστε κατηγορίες. Επαγωγικό σημαίνει ότι οι κατηγορίες προκύπτουν από το υλικό· παραγωγικό ότι προέρχονται από τη θεωρία ή το ερευνητικό ερώτημα. Συχνά είναι ένας συνδυασμός (Kuckartz & Rädiker, 2022· Mayring, 2022).
2. Καταγράψτε για κάθε κατηγορία μια σύντομη περιγραφή και ένα παράδειγμα αγκύρωσης (anchor example) (βιβλίο κωδικοποίησης). Λέει τι ανήκει στην κατηγορία και βοηθά ένα δεύτερο άτομο να αντιστοιχίζει με τον ίδιο τρόπο.
3. Αντιστοίχιση απαντήσεων: μία κάθε φορά ή ως λίστα, με κλικ ή με τα πλήκτρα 1 έως 9 (το 0 αφαιρεί την αντιστοίχιση). Τα πλήκτρα λειτουργούν μόνο όσο η εστίαση βρίσκεται στην αντιστοίχιση, ποτέ σε πεδίο κειμένου.
4. Έλεγχος του μετρητή: πόσα άτομα δεν έχουν απάντηση και πόσες απαντήσεις είναι ακόμη ανοιχτές.
5. Η «Εγγραφή στα δεδομένα» γράφει τις στήλες (ένα βήμα αναίρεσης). Στη συνέχεια η «Ανάλυση τώρα» οδηγεί στην ερώτηση «Πώς κατανέμεται κάτι;».

Τρεις καταστάσεις ανά γραμμή

Κάθε γραμμή βρίσκεται σε ακριβώς μία από τρεις καταστάσεις: χωρίς απάντηση (κενό κείμενο), απάντηση ακόμη ανοιχτή ή αντιστοιχισμένη. Η κενή και η ανοιχτή μετρούν ως ελλείπουσες: μετρώνται και δεν συμπληρώνονται ποτέ σιωπηλά με «καμία κατηγορία» ή 0. Αν θέλετε να καταγράψετε «δεν ταιριάζει πουθενά», δημιουργήστε μια κατηγορία «Άλλο».

Ανάγνωση του αποτελέσματος

• Ο πίνακας δίνει n για κάθε κατηγορία και το ποσοστό των ατόμων με αντιστοιχισμένη απάντηση. Η βάση βρίσκεται στην επικεφαλίδα της στήλης («βάση 31»).
• Με πολλές κατηγορίες ανά απάντηση προστίθεται το ποσοστό των αναφορών. Τα ποσοστά των ατόμων αθροίζουν τότε πάνω από 100%, επειδή μια απάντηση μετρά πολλές φορές· το Statable το λέει σε μια πρόταση.
• Οι απαντήσεις που είναι ακόμη ανοιχτές λείπουν από τον πίνακα· ο αριθμός τους εμφανίζεται από πάνω («12 απαντήσεις ακόμη ανοιχτές»).
• Ο πίνακας περιγράφει αυτές τις απαντήσεις. Δεν ελέγχει τίποτα και δεν μπορεί να γενικευτεί σε άλλα άτομα: κανένας έλεγχος, καμία τιμή p.

Δεύτερη κωδικοποίηση και συμφωνία

Ένα άτομο μόνο του κωδικοποιεί υποκειμενικά. Γι' αυτό ένα δεύτερο άτομο αντιστοιχίζει τις ίδιες απαντήσεις με τις ίδιες κατηγορίες χωρίς να βλέπει την πρώτη αντιστοίχιση. Η «Δημιουργία δεύτερης κωδικοποίησης» δημιουργεί γι' αυτό μια ξεχωριστή αντιστοίχιση· στη δεύτερη κωδικοποίηση η πρώτη είναι κρυμμένη. Όταν και οι δύο κωδικοποιήσεις έχουν γραφτεί στα δεδομένα, ο «Έλεγχος συμφωνίας» ανοίγει την ερώτηση «Συμφωνούν οι αξιολογήσεις;» με τις δύο στήλες (κάπα του Cohen, άλφα του Krippendorff). Με πολλές κατηγορίες ανά απάντηση η συμφωνία ελέγχεται ανά κατηγορία. Για πραγματικά ανεξάρτητη κωδικοποίηση το δεύτερο άτομο εργάζεται σε δικό του αντίγραφο του αρχείου έργου.

Προϋποθέσεις και όρια

• Προορίζεται για σύντομα ελεύθερα κείμενα σε ερωτηματολόγιο (από μία έως λίγες προτάσεις), όχι για συνεντεύξεις ή μακροσκελή κείμενα. Για αυτά ταιριάζουν προγράμματα ποιοτικής ανάλυσης περιεχομένου όπως το MAXQDA, το ATLAS.ti, το QCAmap ή το QualCoder. Το Statable δεν είναι πρόγραμμα κωδικοποίησης: χωρίς σημειώματα, χωρίς ιεραρχικό σύστημα κατηγοριών.
• Δεν υπάρχει αυτόματη κατηγοριοποίηση ούτε τεχνητή νοημοσύνη (απόρρητο, ιχνηλασιμότητα). Κάθε αντιστοίχιση προέρχεται από ένα άτομο.
• Πόσο αξιόπιστο είναι το αποτέλεσμα εξαρτάται από το βιβλίο κωδικοποίησης (codebook) και τη συμφωνία δύο ατόμων, όχι από τον αριθμό των απαντήσεων.
• Οι γραμμές αναγνωρίζονται από τη στήλη αναγνωριστικού ή τον αριθμό γραμμής. Χωρίς αναγνωριστικό, η διαγραφή ή η αναταξινόμηση γραμμών μετατοπίζει την αντιστοίχιση.
• Οι αλλαγές παραγράφου σε μακροσκελείς απαντήσεις γίνονται κενά όταν διαβάζεται το αρχείο.
• Στη νέα εγγραφή αντικαθίστανται οι δικές του στήλες· μια άλλη στήλη με το ίδιο όνομα μένει ανέγγιχτη και η νέα στήλη παίρνει έναν αριθμό στο όνομά της.

Από 31 απαντήσεις με αντιστοίχιση, 12 άτομα (38,7%) ανέφεραν την πρακτική· 2 απαντήσεις ήταν ακόμη ανοιχτές.

Για ειδικούς

Δικός του κώδικας, χωρίς στατιστικό ελέγχου. Ποσοστό ατόμων = απαντήσεις με την κατηγορία / απαντήσεις με τουλάχιστον μία κατηγορία· ποσοστό αναφορών = n / άθροισμα όλων των αντιστοιχίσεων. Μία κατηγορία ανά απάντηση: κωδικοί 1 έως k με τη σειρά της λίστας κατηγοριών, ελλείπον για κενή και ανοιχτή. Πολλές: 0/1 ανά κατηγορία (1 αντιστοιχισμένη, 0 απάντηση με άλλη κατηγορία, ελλείπον κενή ή ανοιχτή), σύνολο πολλαπλών απαντήσεων (multiple response set) με τιμή καταμέτρησης 1. Οι τιμές αναφοράς προέρχονται από το R (σενάριο scripts/welle4-erwartet.R)· οι στήλες που δημιουργούνται στο PSPP ελέγχονται σε σχέση με αυτές. Η εγγραφή στα δεδομένα είναι μία εντολή PSPP (COMPUTE και IF με $CASENUM, VALUE LABELS, VARIABLE LEVEL).

Τυπικά παραδείγματα

• «Τι έλειπε από το σεμινάριο;»: κατηγορίες όπως πρακτική, ανατροφοδότηση, χρόνος· στη συνέχεια ένας πίνακας συνάφειας δείχνει αν τα προγράμματα σπουδών διαφέρουν.
• Το πεδίο «Άλλο, συγκεκριμένα …» μιας ερώτησης με σταθερές απαντήσεις.

Πηγές

Kuckartz, U. & Rädiker, S. (2022). Qualitative Inhaltsanalyse. Methoden, Praxis, Umsetzung mit Software und künstlicher Intelligenz (κεφ. 3 και 4). Beltz Juventa. Mayring, P. (2022). Qualitative Inhaltsanalyse. Grundlagen und Techniken. Beltz.