Ridge, lasso en elastic net (gepenaliseerde regressie)

Kort

Een getal wordt voorspeld uit veel voorspellers zonder dat het model zich aanpast aan toevalligheden van de steekproef: een penalisatie trekt de coëfficiënten naar nul (ridge) of zet onbelangrijke precies op nul (lasso); elastic net combineert beide. Het wordt gekozen onder “Meer opties” → “Model” bij de vraag “Kan iets worden voorspeld?”, voor alle vakgebieden.

Waarvoor

Voor goede voorspellingen als er veel voorspellers zijn ten opzichte van de gevallen of als ze nauw samenhangen. Niet om afzonderlijke effecten te toetsen: na de selectie zijn er geen p-waarden.

Voorwaarden

Doelvariabele: een getal met meer dan twee waarden; minstens drie voorspellers (hulpkolommen van groepen tellen mee, hoogstens 500); minstens 25 gevallen. Meer voorspellers dan gevallen is toegestaan (alleen voor voorspelling).
Hiaten: alleen volledige gevallen. Kolommen met overal dezelfde waarde worden weggelaten en genoemd.
De gepenaliseerde regressie (penalized regression) werkt niet met een gevalsgewicht: identieke gevallen zouden tegelijk in de training en in de test van de kruisvalidatie staan.

Het resultaat lezen

Een 5 × 10-voudige kruisvalidatie kiest de sterkte van de penalisatie (λ): 5 herhalingen met een andere indeling (vanaf 50 gevallen 10 deelverzamelingen, daaronder 5); de foutmaat is de gemiddelde gekwadrateerde fout bij gevallen die bij de aanpassing ontbraken. Standaard geldt de één-standaardfoutregel: het eenvoudigste model waarvan de fout nog binnen de schommelingsmarge van het beste ligt. De kleinste fout kan ook worden gekozen.
Tabel: de coëfficiënt op de oorspronkelijke schaal, de gestandaardiseerde coëfficiënt (vergelijkbaar tussen voorspellers), of de voorspeller in het model zit en in hoeveel van de herhalingen hij is geselecteerd. Dat een voorspeller is geselecteerd, betekent niet dat hij belangrijk is.
Grafieken: de curve van de fout tegen log λ (met standaardfout, λ min en λ 1se, bovenaan het aantal voorspellers in het model) en het pad van de gestandaardiseerde coëfficiënten.
Geen p-waarden en geen betrouwbaarheidsintervallen: selectie en schatting komen uit dezelfde gegevens; gewone toetsen en intervallen zouden te optimistisch zijn. Er is bewust geen knop “gewoon rekenen met de gekozen voorspellers”.
De selectie van een groepsniveau hangt af van welke groep als referentie dient. De waarden van λ zijn alleen binnen glmnet vergelijkbaar.

Het resultaat rapporteren

Lasso (α = 1), λ = 0,417 (één-standaardfoutregel), 5 × 10-voudige kruisvalidatie, MSE = 4,83 (SE = 0,53); 4 van de 10 voorspellers in het model

Noem in de tekst de soort penalisatie, de regel voor λ, de fout van de kruisvalidatie en het woord “voorspelling” - niet “effect”.