Ridge, lasso och elastic net (straffad regression (penalized regression))

Kort sagt

Ett tal förutsägs utifrån många prediktorer utan att modellen överanpassas till stickprovets slumpdrag: ett straff drar koefficienterna mot noll (ridge) eller sätter oviktiga exakt till noll (lasso); elastic net blandar båda. Det väljs under ”Fler alternativ” → ”Modell” i frågan ”Går det att förutsäga något?”, för alla ämnesområden.

Vad det är till för

För bra prediktioner när det finns många prediktorer i förhållande till fallen eller när de hänger nära ihop. Inte för att testa enskilda effekter: efter urvalet finns inga p-värden.

Förutsättningar

• Mål: ett tal med fler än två värden; minst tre prediktorer (gruppernas hjälpkolumner räknas, högst 500); minst 25 fall. Fler prediktorer än fall är tillåtet (endast prediktion).
• Luckor: endast fullständiga fall. Kolumner med samma värde överallt utelämnas och namnges.
• Straffad regression (penalized regression) fungerar inte med fallvikt: identiska fall skulle samtidigt ingå i korsvalideringens träning och test.

Läsa resultatet

• En 5 × 10-faldig korsvalidering väljer straffets styrka (λ): 5 upprepningar med olika indelning (från 50 fall 10 delmängder (fold), under det 5); felmåttet är medelkvadratfelet på fall som saknades vid anpassningen. Standard är regeln om ett standardfel: den enklaste modell vars fel ännu ligger inom den bästas variationsområde. Du kan i stället välja minsta fel.
• Tabell: koefficienten på ursprunglig skala, den standardiserade koefficienten (jämförbar mellan prediktorer), om prediktorn finns i modellen och i hur många av upprepningarna den valdes ut. Att en prediktor valdes ut betyder inte att den är viktig.
• Diagram: kurvan för felet mot log λ (med standardfel, λ min och λ 1se, överst antalet prediktorer i modellen) och banan för de standardiserade koefficienterna.
• Inga p-värden och inga konfidensintervall: urval och skattning kommer från samma data; vanliga test och intervall vore för optimistiska. Det finns avsiktligt ingen knapp ”beräkna vanligt med de valda prediktorerna”.
• Urvalet av en gruppnivå beror på vilken grupp som är referens. Värdena för λ är bara jämförbara inom glmnet.

Redovisa resultatet

Lasso (α = 1), λ = 0,417 (regeln om ett standardfel), 5 × 10-faldig korsvalidering, MSE = 4,83 (SE = 0,53); 4 av 10 prediktorer i modellen

Nämn i texten typen av straff, regeln för λ, korsvalideringens fel och ordet ”prediktion” - inte ”effekt”.