Ordenar respostas abertas (categorizar texto livre)

Em resumo

Os textos livres curtos de um questionário (por exemplo «O que faltou no seminário?») não podem ser contados diretamente. Aqui são divididos em categorias: a pessoa que analisa os dados define as categorias e atribui cada resposta; o Statable conta, mostra as frequências e, a pedido, escreve nos dados colunas que podem ser usadas para outras análises (por exemplo a categoria por curso). O Statable não atribui nada por si: sem IA, e nenhum texto é enviado para lado nenhum.

Aspeto da tabela

Uma linha por pessoa e uma coluna de texto com a resposta (uma resposta por linha). Ajuda uma coluna de identificação (Nr, ID): o Statable reconhece as linhas por ela; sem identificação, conta o número da linha. O resultado são colunas novas: com uma categoria por resposta, uma coluna de grupos com os códigos 1 a k e as categorias como rótulos dos valores; com várias categorias por resposta (em «Mais opções»), uma coluna 0/1 por categoria, criada como conjunto de respostas múltiplas.

Passos

1. Leia uma amostra das respostas e crie categorias. Indutivo significa que as categorias surgem do material; dedutivo, que vêm da teoria ou da questão de investigação. Muitas vezes é uma mistura (Kuckartz e Rädiker, 2022; Mayring, 2022).
2. Registe para cada categoria uma descrição breve e um exemplo âncora (anchor example) (guia de codificação (coding guide)). Diz o que pertence à categoria e ajuda uma segunda pessoa a atribuir da mesma forma.
3. Atribuir respostas: uma de cada vez ou em lista, com um clique ou com as teclas 1 a 9 (0 retira a atribuição). As teclas só funcionam enquanto o foco estiver na atribuição, nunca num campo de texto.
4. Verificar o contador: quantas pessoas não têm resposta e quantas respostas ainda estão abertas.
5. «Escrever nos dados» escreve as colunas (um único passo de desfazer). Depois «Analisar agora» leva à pergunta «Como se distribui algo?».

Três estados por linha

Cada linha está exatamente num de três estados: sem resposta (texto vazio), resposta ainda aberta ou atribuída. Vazia e aberta contam como omissas: são contadas e nunca preenchidas em silêncio com «nenhuma categoria» ou 0. Se quiser registar «não se encaixa em nenhuma», crie uma categoria «Outros».

Ler o resultado

• A tabela indica n para cada categoria e a percentagem de pessoas com uma resposta atribuída. A base está no cabeçalho da coluna («base 31»).
• Com várias categorias por resposta, acrescenta-se a percentagem das menções. As percentagens de pessoas somam então mais de 100%, porque uma resposta conta várias vezes; o Statable di-lo numa frase.
• As respostas ainda abertas faltam na tabela; o seu número é mostrado em cima («12 respostas ainda abertas»).
• A tabela descreve estas respostas. Não testa nada e não pode ser generalizada a outras pessoas: sem teste, sem valor p.

Segunda codificação e concordância

Uma única pessoa codifica de forma subjetiva. Por isso, uma segunda pessoa atribui as mesmas respostas com as mesmas categorias sem ver a primeira atribuição. «Criar uma segunda codificação» cria para isso uma atribuição separada; na segunda codificação, a primeira fica oculta. Quando as duas codificações estiverem escritas nos dados, «Verificar a concordância» abre a pergunta «As avaliações concordam?» com as duas colunas (kappa de Cohen, alfa de Krippendorff). Com várias categorias por resposta, a concordância é verificada por categoria. Para uma codificação realmente independente, a segunda pessoa trabalha numa cópia própria do ficheiro do projeto.

Pressupostos e limites

• Destina-se a textos livres curtos de um questionário (de uma a poucas frases), não a entrevistas nem a textos longos. Para estes servem programas de análise de conteúdo qualitativa como o MAXQDA, o ATLAS.ti, o QCAmap ou o QualCoder. O Statable não é um programa de codificação: sem memorandos, sem sistema de categorias encaixado.
• Não há categorização automática nem IA (privacidade, rastreabilidade). Cada atribuição vem de uma pessoa.
• A fiabilidade do resultado depende do guia de codificação (coding guide) e da concordância de duas pessoas, não do número de respostas.
• As linhas são reconhecidas pela coluna de identificação ou pelo número da linha. Sem identificação, eliminar ou reordenar linhas desloca a atribuição.
• As quebras de parágrafo nas respostas longas passam a espaços quando o ficheiro é lido.
• Ao escrever de novo, as colunas próprias são substituídas; outra coluna com o mesmo nome fica intacta e a coluna nova recebe um número no nome.

De 31 respostas com atribuição, 12 pessoas (38,7%) mencionaram a prática; 2 respostas ainda estavam abertas.

Para especialistas

Código próprio, sem estatística de teste. Percentagem de pessoas = respostas com a categoria / respostas com pelo menos uma categoria; percentagem de menções = n / soma de todas as atribuições. Uma categoria por resposta: códigos 1 a k pela ordem da lista de categorias, omisso para vazia e aberta. Várias: 0/1 por categoria (1 atribuída, 0 respondeu com outra categoria, omisso vazia ou aberta), conjunto de respostas múltiplas com valor contado 1. Os valores de referência vêm do R (script scripts/welle4-erwartet.R); as colunas criadas no PSPP são verificadas em relação a eles. Escrever nos dados é um único comando do PSPP (COMPUTE e IF com $CASENUM, VALUE LABELS, VARIABLE LEVEL).

Exemplos típicos

• «O que faltou no seminário?»: categorias como prática, feedback, tempo; depois uma tabela de contingência mostra se os cursos diferem.
• O campo «Outros, nomeadamente …» de uma pergunta com respostas fixas.

Fontes

Kuckartz, U. & Rädiker, S. (2022). Qualitative Inhaltsanalyse. Methoden, Praxis, Umsetzung mit Software und künstlicher Intelligenz (cap. 3 e 4). Beltz Juventa. Mayring, P. (2022). Qualitative Inhaltsanalyse. Grundlagen und Techniken. Beltz.