Ridge, lasso e elastic net (regressão penalizada)

Em resumo

Prevê-se um número a partir de muitos preditores sem que o modelo se sobreajuste a características casuais da amostra: uma penalização aproxima os coeficientes de zero (ridge) ou põe exatamente a zero os pouco importantes (lasso); o elastic net combina ambos. Escolhe-se em «Mais opções» → «Modelo» na pergunta «É possível prever alguma coisa?», para todas as disciplinas.

Para que serve

Para boas previsões quando há muitos preditores em relação aos casos ou quando estão estreitamente relacionados. Não para testar efeitos individuais: após a seleção não há valores p.

Pressupostos

• Variável-alvo: um número com mais de dois valores; pelo menos três preditores (contam as colunas auxiliares dos grupos, no máximo 500); pelo menos 25 casos. São permitidos mais preditores do que casos (apenas para prever).
• Lacunas: apenas casos completos. As colunas com o mesmo valor em todo o lado ficam de fora e são nomeadas.
• A regressão penalizada não funciona com ponderação de casos: casos idênticos estariam ao mesmo tempo no treino e no teste da validação cruzada.

Ler o resultado

• Uma validação cruzada 5 × 10 escolhe a intensidade da penalização (λ): 5 repetições com uma divisão diferente (a partir de 50 casos, 10 subconjuntos (folds); abaixo disso, 5); a medida de erro é o erro quadrático médio nos casos que faltavam no ajuste. Por predefinição vale a regra do erro-padrão único: o modelo mais simples cujo erro ainda está dentro da margem de flutuação do melhor. Também se pode escolher o menor erro.
• Tabela: o coeficiente na escala original, o coeficiente estandardizado (comparável entre preditores), se o preditor está no modelo e em quantas das repetições foi selecionado. O facto de um preditor ter sido selecionado não significa que seja importante.
• Gráficos: a curva do erro face a log λ (com erro-padrão, λ min e λ 1se, em cima o número de preditores no modelo) e a trajetória dos coeficientes estandardizados.
• Sem valores p nem intervalos de confiança: a seleção e a estimativa provêm dos mesmos dados; os testes e intervalos ordinários seriam demasiado otimistas. De propósito, não há um botão «calcular de forma ordinária com os preditores escolhidos».
• A seleção de um nível de grupo depende de qual o grupo que serve de referência. Os valores de λ só são comparáveis dentro do glmnet.

Comunicar o resultado

Lasso (α = 1), λ = 0,417 (regra do erro-padrão único), validação cruzada 5 × 10, MSE = 4,83 (SE = 0,53); 4 de 10 preditores no modelo

No texto, indique o tipo de penalização, a regra para λ, o erro da validação cruzada e a palavra «previsão», não «efeito».