Testes de qualidade do ajustamento: distribuição normal (Lilliefors) e distribuição uniforme (χ²)

Em resumo

Em «Como se distribui algo?», por baixo do resultado: a distribuição corresponde a uma expectativa? Para colunas numéricas, o Statable testa a distribuição normal com dois testes (Shapiro-Wilk e Lilliefors); para colunas com categorias, o teste do χ² de qualidade do ajustamento face a uma distribuição uniforme ou a proporções próprias fixadas de antemão.

Distribuição normal: Lilliefors

• Lilliefors é o teste de Kolmogorov-Smirnov com média e desvio-padrão estimados a partir dos dados (Lilliefors 1967). O teste de Kolmogorov-Smirnov normal, que retira esses valores dos dados, é então demasiado cauteloso: o seu p é demasiado grande. Por isso, o Statable nunca mostra o p da saída Kolmogorov-Smirnov do PSPP (NPAR TESTS /K-S), mas o p corrigido segundo Lilliefors.
• Tal como Shapiro-Wilk, é calculado para colunas numéricas com mais de 12 valores diferentes (e pelo menos 5 valores válidos); com poucos valores diferentes um teste de normalidade diz pouco, por isso não existe, e o gráfico Q-Q mostra mais. O p é a conhecida aproximação (Dallal e Wilkinson 1986) como em R (nortest::lillie.test). Com valores constantes não há teste.
• Tal como em Shapiro-Wilk: p < ,05 significa que a distribuição se desvia; p ≥ ,05 só significa que o teste não depõe contra - nunca «é normalmente distribuído». Com poucas pessoas, deixa passar grandes desvios, com muitas assinala até os pequenos; o gráfico Q-Q mostra mais. Shapiro-Wilk costuma ter mais potência em amostras pequenas e médias.

Categorias: teste do χ² de qualidade do ajustamento

• Compara as frequências observadas com as esperadas, só para categorias (texto, etiquetas de valores, nível de medida nominal ou ordinal), nunca para colunas numéricas métricas com poucos valores. Predefinição: distribuição uniforme (cada categoria com a mesma frequência). Com «Esperar proporções próprias em vez de uma distribuição uniforme» podem indicar-se proporções próprias: uma proporção ou um peso para cada categoria, os números são reduzidos a uma soma de 1. Têm de estar fixadas antes da análise (teoria, estudo anterior, Mendel), não podem sair destes dados. O teste só é calculado com «Fixar as proporções e calcular», não a cada tecla; a frase e a linha APA nomeiam as proporções («face às proporções fixadas de antemão 40 : 30 : 20 : 10»). Se forem alteradas de novo depois de um resultado, o aviso de que o valor p deixa de contar como teste de um pressuposto fixado de antemão surge primeiro.
• Regra de Cochran (1954): se se espera menos de 1 numa categoria ou menos de 5 em mais de 20% das categorias, o teste é impreciso e o Statable avisa que o p é incerto. Aqui não há teste exato; as categorias raras podem ser agrupadas. Uma categoria sem observações conta.
• Duas categorias: sem correção de continuidade, como R chisq.test(x, p). Um resultado não estatisticamente significativo não prova uma distribuição uniforme.
• Os resíduos padronizados (tabela) mostram que categoria se desvia mais: notórios a partir de cerca de ±2.

Comunicar o resultado

Lilliefors D = ,241, p = ,003; χ²(3, N = 556) = 0,47, p = ,925

Exemplo (ervilhas de Mendel, 315 : 108 : 101 : 32 face a 9 : 3 : 3 : 1): χ²(3, N = 556) = 0,47, p = ,925. Os dados não depõem contra as proporções esperadas; isso não prova que a teoria esteja certa.

Para especialistas

Lilliefors: D = maior desvio da função de distribuição empírica em relação à normal com a média e a SD (n − 1) dos dados; p segundo a aproximação de nortest::lillie.test (Dallal e Wilkinson 1986; Stephens), sem alteração. Para n > 100, D é convertido para n = 100. O PSPP NPAR TESTS /K-S(NORMAL) dá o mesmo D mas um p sem correção (verificado no teste). Qualidade do ajustamento: Σ (O − E)²/E com k − 1 graus de liberdade, como R chisq.test(x, p, rescale.p = TRUE); o PSPP NPAR TESTS /CHISQUARE dá os mesmos números.

Fontes

Lilliefors, H. W. (1967). On the Kolmogorov-Smirnov test for normality with mean and variance unknown. Journal of the American Statistical Association, 62, 399-402. Dallal, G. E. & Wilkinson, L. (1986). An analytic approximation to the distribution of Lilliefors's test statistic for normality. The American Statistician, 40, 294-296. Cochran, W. G. (1954). Some methods for strengthening the common χ² tests. Biometrics, 10, 417-451.