Ridge, lasso и elastic net (пенализирана регресия)

Накратко

Едно число се предсказва от много предиктори, без моделът да се пренагоди към случайните особености на извадката: пенализирането придърпва коефициентите към нула (ridge) или задава маловажните точно на нула (lasso); elastic net комбинира двете. Избира се под „Още опции“ → „Модел“ във въпроса „Може ли нещо да се предскаже?“, за всички предметни области.

За какво служи

За добри предсказвания, когато предикторите са много в сравнение със случаите или когато са тясно свързани. Не за проверка на отделни ефекти: след избора няма p-стойности.

Изисквания

• Цел: число с повече от две стойности; поне три предиктора (помощните колони на групите се броят, най-много 500); поне 25 случая. Позволени са повече предиктори, отколкото случаи (само предсказване).
• Пропуски: само пълни случаи. Колоните с една и съща стойност навсякъде се пропускат и се назовават.
• Пенализираната регресия (penalized regression) не работи с тегло на случая: идентични случаи биха попаднали едновременно в обучението и в теста на кръстосаната валидация.

Прочитане на резултата

• Кръстосана валидация 5 × 10 избира силата на пенализирането (λ): 5 повторения с друго разделяне (от 50 случая 10 подмножества, под това 5); мярка за грешката е средната квадратична грешка върху случаите, които са липсвали при прилагането. По подразбиране важи правилото за една стандартна грешка: най-простият модел, чиято грешка още лежи в границите на колебание на най-добрия. Може да се избере най-малката грешка.
• Таблица: коефициентът в оригиналната скала, стандартизираният коефициент (съпоставим между предикторите), дали предикторът е в модела и в колко от повторенията е бил избран. Това, че един предиктор е избран, не означава, че е важен.
• Диаграми: кривата на грешката спрямо log λ (със стандартна грешка, λ min и λ 1se, горе броят на предикторите в модела) и пътят на стандартизираните коефициенти.
• Без p-стойности и без доверителни интервали: изборът и оценката идват от едни и същи данни; обикновените критерии и интервали биха били твърде оптимистични. Бутонът „изчисли обикновено с избраните предиктори“ умишлено липсва.
• Изборът на ниво на група зависи от това коя група служи за еталон. Стойностите на λ са съпоставими само в рамките на glmnet.

Съобщаване на резултата

Lasso (α = 1), λ = 0,417 (правило за една стандартна грешка), кръстосана валидация 5 × 10, MSE = 4,83 (SE = 0,53); 4 от 10 предиктора в модела

В текста назовете вида на пенализирането, правилото за λ, грешката на кръстосаната валидация и думата „предсказване“ - не „ефект“.