Ridge, Lasso und Elastic Net (Strafregression)

Kurz

Eine Zahl wird aus vielen Vorhersagegrößen vorhergesagt, ohne dass das Modell auf die Zufälligkeiten der Stichprobe überanpasst: Eine Strafe zieht die Koeffizienten zur Null (Ridge) oder setzt unwichtige ganz auf Null (Lasso); Elastic Net mischt beides. Gewählt wird es unter „Weitere Wege“ → „Modell“ in der Frage „Lässt sich etwas vorhersagen?“, für alle Fächer.

Wofür

Für gute Vorhersagen, wenn es viele Vorhersagegrößen im Verhältnis zu den Fällen gibt oder wenn sie eng zusammenhängen. Nicht dafür, einzelne Effekte zu prüfen: nach der Auswahl gibt es keine p-Werte.

Voraussetzungen

• Ziel: eine Zahl mit mehr als zwei Werten; mindestens drei Vorhersagegrößen (Hilfsspalten von Gruppen zählen mit, höchstens 500); mindestens 25 Fälle. Mehr Vorhersagegrößen als Fälle sind erlaubt (nur Vorhersage).
• Fehlende Werte: nur vollständige Fälle. Spalten mit überall demselben Wert werden weggelassen und genannt.
• Mit einem Fallgewicht rechnet die Strafregression nicht: gleiche Fälle stünden in Training und Test der Kreuzvalidierung zugleich.

Ergebnis lesen

• Die Stärke der Strafe (λ) wählt eine 5 × 10-fache Kreuzvalidierung: 5 Wiederholungen mit anderer Faltung (ab 50 Fällen 10 Faltungen, darunter 5), Fehlermaß ist der mittlere quadrierte Fehler an Fällen, die in der Anpassung fehlten. Voreinstellung ist die Ein-Standardfehler-Regel: das einfachste Modell, dessen Fehler noch im Schwankungsbereich des besten liegt. Wählbar ist der kleinste Fehler.
• Tabelle: der Koeffizient auf der Originalskala, der standardisierte Koeffizient (vergleichbar zwischen den Größen), ob die Größe im Modell ist und in wie vielen der Wiederholungen sie gewählt wurde. Dass eine Größe gewählt wurde, heißt nicht, dass sie wichtig ist.
• Bilder: die Kurve des Fehlers gegen log λ (mit Standardfehler, λ min und λ 1se, oben die Zahl der Größen im Modell) und der Pfad der standardisierten Koeffizienten.
• Keine p-Werte und keine Konfidenzintervalle: Auswahl und Schätzung stammen aus denselben Daten; gewöhnliche Tests und Intervalle wären zu optimistisch. Es gibt absichtlich keinen Knopf „mit den gewählten Größen gewöhnlich rechnen“.
• Die Auswahl einer Gruppenstufe hängt davon ab, welche Gruppe als Vergleich dient. Die Werte von λ sind nur innerhalb von glmnet vergleichbar.

Ergebnis berichten

Lasso (α = 1), λ = 0,417 (Ein-Standardfehler-Regel), 5 × 10-fache Kreuzvalidierung, MSE = 4,83 (SE = 0,53); 4 von 10 Größen im Modell

Im Text die Art der Strafe, die Regel für λ, den Fehler der Kreuzvalidierung und das Wort „Vorhersage“ nennen - nicht „Wirkung“.