Ridge, lasso ed elastic net (regressione penalizzata)

In breve

Un numero viene previsto a partire da molti predittori senza che il modello si adatti troppo alle caratteristiche casuali del campione: una penalizzazione avvicina i coefficienti a zero (ridge) o porta esattamente a zero quelli poco importanti (lasso); l’elastic net combina le due cose. Si sceglie in «Altre opzioni» → «Modello» nella domanda «Si può prevedere qualcosa?», per tutte le discipline.

A che cosa serve

Per buone previsioni quando ci sono molti predittori rispetto ai casi o quando sono strettamente collegati. Non per testare singoli effetti: dopo la selezione non ci sono valori p.

Requisiti

• Variabile obiettivo: un numero con più di due valori; almeno tre predittori (contano le colonne ausiliarie dei gruppi, al massimo 500); almeno 25 casi. Sono ammessi più predittori che casi (solo per la previsione).
• Lacune: solo casi completi. Le colonne con lo stesso valore ovunque vengono escluse e nominate.
• La regressione penalizzata (penalized regression) non funziona con un peso dei casi: casi identici si troverebbero contemporaneamente nell’addestramento e nel test della convalida incrociata.

Leggere il risultato

• Una convalida incrociata 5 × 10 sceglie l’intensità della penalizzazione (λ): 5 ripetizioni con una suddivisione diversa (da 50 casi 10 sottoinsiemi, sotto 5); la misura dell’errore è l’errore quadratico medio sui casi che mancavano nell’adattamento. Per impostazione predefinita vale la regola dell’errore standard singolo: il modello più semplice il cui errore rientra ancora nel margine di fluttuazione del migliore. Si può scegliere anche l’errore più piccolo.
• Tabella: il coefficiente sulla scala originale, il coefficiente standardizzato (confrontabile tra i predittori), se il predittore è nel modello e in quante ripetizioni è stato selezionato. Il fatto che un predittore sia stato selezionato non significa che sia importante.
• Grafici: la curva dell’errore rispetto a log λ (con errore standard, λ min e λ 1se, in alto il numero di predittori nel modello) e il percorso dei coefficienti standardizzati.
• Nessun valore p e nessun intervallo di confidenza: selezione e stima provengono dagli stessi dati; i test e gli intervalli ordinari sarebbero troppo ottimistici. Di proposito non c’è un pulsante «calcola in modo ordinario con i predittori scelti».
• La selezione di un livello di gruppo dipende da quale gruppo funge da riferimento. I valori di λ sono confrontabili solo all’interno di glmnet.

Riportare il risultato

Lasso (α = 1), λ = 0,417 (regola dell’errore standard singolo), convalida incrociata 5 × 10, MSE = 4,83 (SE = 0,53); 4 predittori su 10 nel modello

Nel testo indica il tipo di penalizzazione, la regola per λ, l’errore della convalida incrociata e la parola «previsione», non «effetto».