Ridge, lasso і elastic net (регресія зі штрафом, penalized regression)

Коротко

Число прогнозується за багатьма предикторами без того, щоб модель перенавчилася на випадкових особливостях вибірки: штраф притягує коефіцієнти до нуля (ridge) або встановлює неважливі рівно на нуль (lasso); elastic net поєднує обидва підходи. Метод вибирають під «Більше параметрів» → «Модель» у питанні «Чи можна щось спрогнозувати?», для всіх предметних галузей.

Для чого це

Для хороших прогнозів, коли предикторів багато порівняно зі спостереженнями або коли вони тісно пов’язані. Не для перевірки окремих ефектів: після відбору p-значень немає.

Умови

• Ціль: число з більш ніж двома значеннями; щонайменше три предиктори (допоміжні стовпці груп враховуються, не більше 500); щонайменше 25 спостережень. Предикторів може бути більше, ніж спостережень (лише прогноз).
• Пропуски: лише повні спостереження. Стовпці зі скрізь однаковим значенням пропускаються й називаються.
• Регресія зі штрафом (penalized regression) не працює з вагою спостереження: однакові спостереження одночасно потрапили б у навчальну й тестову частини перехресної перевірки.

Як читати результат

• 5 × 10-кратна перехресна перевірка вибирає силу штрафу (λ): 5 повторень з іншим поділом (від 50 спостережень 10 підмножин (fold), нижче цього 5); мірою похибки є середня квадратична похибка на спостереженнях, яких бракувало під час підгонки. За замовчуванням діє правило однієї стандартної похибки: найпростіша модель, похибка якої ще лежить у межах коливань найкращої. Можна вибрати найменшу похибку.
• Таблиця: коефіцієнт у вихідній шкалі, стандартизований коефіцієнт (порівнянний між предикторами), чи є предиктор у моделі та в скількох повтореннях його було відібрано. Те, що предиктор відібрано, не означає, що він важливий.
• Діаграми: крива похибки проти log λ (зі стандартною похибкою, λ min і λ 1se, угорі кількість предикторів у моделі) і траєкторія стандартизованих коефіцієнтів.
• Жодних p-значень і довірчих інтервалів: відбір і оцінка ґрунтуються на тих самих даних; звичайні критерії та інтервали були б надто оптимістичними. Кнопки «обчислити звичайно з вибраними предикторами» свідомо немає.
• Відбір рівня групи залежить від того, яка група слугує еталоном. Значення λ можна порівнювати лише в межах glmnet.

Подання результату

Lasso (α = 1), λ = 0,417 (правило однієї стандартної похибки), 5 × 10-кратна перехресна перевірка, MSE = 4,83 (SE = 0,53); 4 із 10 предикторів у моделі

У тексті назвіть вид штрафу, правило для λ, похибку перехресної перевірки та слово «прогноз» - не «ефект».