Ridge, lasso i elastic net (regresja z karą (penalized regression))

W skrócie

Liczba jest przewidywana na podstawie wielu predyktorów bez nadmiernego dopasowania modelu do przypadkowych cech próby: kara przyciąga współczynniki do zera (ridge) lub ustawia nieważne dokładnie na zero (lasso); elastic net łączy oba podejścia. Metodę wybiera się pod „Więcej opcji” → „Model” w pytaniu „Czy można coś przewidzieć?”, dla wszystkich dziedzin.

Do czego służy

Do dobrych predykcji, gdy predyktorów jest wiele w stosunku do przypadków lub gdy są ze sobą silnie powiązane. Nie do testowania pojedynczych efektów: po selekcji nie ma wartości p.

Założenia

• Cel: liczba z więcej niż dwiema wartościami; co najmniej trzy predyktory (liczą się kolumny pomocnicze grup, najwyżej 500); co najmniej 25 przypadków. Predyktorów może być więcej niż przypadków (tylko predykcja).
• Luki: tylko kompletne przypadki. Kolumny z wszędzie tą samą wartością są pomijane i wymieniane z nazwy.
• Regresja z karą nie działa z wagą przypadków: identyczne przypadki znalazłyby się jednocześnie w części treningowej i testowej sprawdzianu krzyżowego.

Odczytywanie wyniku

• 5 × 10-krotny sprawdzian krzyżowy wybiera siłę kary (λ): 5 powtórzeń z innym podziałem (od 50 przypadków 10 podzbiorów, poniżej tej liczby 5); miarą błędu jest średni błąd kwadratowy na przypadkach, których brakowało przy dopasowaniu. Domyślnie obowiązuje reguła jednego błędu standardowego: najprostszy model, którego błąd mieści się jeszcze w zakresie wahań najlepszego. Można wybrać najmniejszy błąd.
• Tabela: współczynnik w skali oryginalnej, współczynnik standaryzowany (porównywalny między predyktorami), informacja, czy predyktor jest w modelu, i w ilu powtórzeniach został wybrany. To, że predyktor został wybrany, nie znaczy, że jest ważny.
• Wykresy: krzywa błędu względem log λ (z błędem standardowym, λ min i λ 1se, u góry liczba predyktorów w modelu) oraz ścieżka standaryzowanych współczynników.
• Brak wartości p i przedziałów ufności: selekcja i oszacowanie pochodzą z tych samych danych; zwykłe testy i przedziały byłyby zbyt optymistyczne. Celowo nie ma przycisku „oblicz zwyczajnie z wybranymi predyktorami”.
• Selekcja poziomu grupy zależy od tego, która grupa jest odniesieniem. Wartości λ są porównywalne tylko w obrębie glmnet.

Raportowanie wyniku

Lasso (α = 1), λ = 0,417 (reguła jednego błędu standardowego), 5 × 10-krotny sprawdzian krzyżowy, MSE = 4,83 (SE = 0,53); 4 z 10 predyktorów w modelu

W tekście podaj rodzaj kary, regułę dla λ, błąd sprawdzianu krzyżowego i słowo „predykcja” - nie „efekt”.