Ridge, lasso și elastic net (regresie penalizată (penalized regression))

Pe scurt

Un număr este prezis din mulți predictori fără ca modelul să se adapteze excesiv (supraînvățare) la trăsăturile întâmplătoare ale eșantionului: o penalizare trage coeficienții spre zero (ridge) sau îi setează pe cei neimportanți exact la zero (lasso); elastic net le combină pe amândouă. Se alege sub „Mai multe opțiuni” → „Model” la întrebarea „Se poate prezice ceva?”, pentru toate domeniile.

La ce folosește

Pentru predicții bune când există mulți predictori față de cazuri sau când sunt strâns legați între ei. Nu pentru testarea efectelor individuale: după selecție nu există valori p.

Cerințe

• Țintă: un număr cu mai mult de două valori; cel puțin trei predictori (coloanele auxiliare ale grupurilor se numără, cel mult 500); cel puțin 25 de cazuri. Sunt permiși mai mulți predictori decât cazuri (doar predicție).
• Lacune: doar cazuri complete. Coloanele cu aceeași valoare peste tot sunt omise și numite.
• Regresia penalizată (penalized regression) nu funcționează cu o pondere de caz: cazuri identice ar ajunge simultan în antrenarea și în testul validării încrucișate.

Citirea rezultatului

• O validare încrucișată 5 × 10 alege intensitatea penalizării (λ): 5 repetări cu altă împărțire (de la 50 de cazuri 10 submulțimi (fold), sub acest număr 5); măsura erorii este eroarea pătratică medie pe cazurile care lipseau la ajustare. Implicit se aplică regula unei erori standard: cel mai simplu model a cărui eroare se află încă în intervalul de variație al celui mai bun. Se poate alege și eroarea cea mai mică.
• Tabel: coeficientul pe scala originală, coeficientul standardizat (comparabil între predictori), dacă predictorul este în model și în câte dintre repetări a fost selectat. Faptul că un predictor a fost selectat nu înseamnă că este important.
• Grafice: curba erorii față de log λ (cu eroare standard, λ min și λ 1se, sus numărul de predictori din model) și traseul coeficienților (coefficient path) standardizați.
• Fără valori p și fără intervale de încredere: selecția și estimarea provin din aceleași date; testele și intervalele obișnuite ar fi prea optimiste. Nu există intenționat un buton „calculați obișnuit cu predictorii aleși”.
• Selecția unui nivel de grup depinde de grupul care servește drept referință. Valorile λ sunt comparabile doar în cadrul glmnet.

Raportarea rezultatului

Lasso (α = 1), λ = 0,417 (regula unei erori standard), validare încrucișată 5 × 10, MSE = 4,83 (SE = 0,53); 4 din 10 predictori în model

În text, menționați tipul penalizării, regula pentru λ, eroarea validării încrucișate și cuvântul „predicție” - nu „efect”.