Ridge, lasso et elastic net (régression pénalisée)

En bref

Un nombre est prédit à partir de nombreux prédicteurs sans que le modèle surapprenne les particularités aléatoires de l’échantillon : une pénalité tire les coefficients vers zéro (ridge) ou met exactement à zéro ceux qui sont sans importance (lasso) ; l’elastic net mélange les deux. Elle se choisit sous « Plus d’options » → « Modèle » dans la question « Peut-on prédire quelque chose ? », pour toutes les disciplines.

À quoi ça sert

Pour de bonnes prédictions quand il y a beaucoup de prédicteurs par rapport aux observations ou quand ils sont étroitement liés. Pas pour tester des effets isolés : après la sélection, il n’y a pas de valeurs p.

Conditions

• Variable cible : un nombre à plus de deux valeurs ; au moins trois prédicteurs (les colonnes auxiliaires des groupes comptent, au plus 500) ; au moins 25 observations. Davantage de prédicteurs que d’observations est autorisé (prédiction uniquement).
• Lacunes : observations complètes uniquement. Les colonnes ayant partout la même valeur sont écartées et nommées.
• La régression pénalisée ne fonctionne pas avec un poids d’observation : des observations identiques se retrouveraient en même temps dans l’apprentissage et le test de la validation croisée.

Lire le résultat

• Une validation croisée 5 × 10 choisit l’intensité de la pénalité (λ) : 5 répétitions avec un autre découpage (10 sous-ensembles (fold) à partir de 50 observations, 5 en dessous) ; la mesure d’erreur est l’erreur quadratique moyenne sur les observations qui manquaient à l’ajustement. Par défaut, c’est la règle de l’erreur standard unique : le modèle le plus simple dont l’erreur reste dans la marge de fluctuation du meilleur. On peut aussi choisir la plus petite erreur.
• Tableau : le coefficient sur l’échelle d’origine, le coefficient standardisé (comparable entre les prédicteurs), si le prédicteur est dans le modèle et dans combien de répétitions il a été sélectionné. Qu’un prédicteur ait été sélectionné ne signifie pas qu’il est important.
• Graphiques : la courbe de l’erreur selon log λ (avec l’erreur standard, λ min et λ 1se, en haut le nombre de prédicteurs dans le modèle) et le chemin des coefficients standardisés.
• Ni valeurs p ni intervalles de confiance : la sélection et l’estimation proviennent des mêmes données ; les tests et intervalles ordinaires seraient trop optimistes. Il n’y a volontairement pas de bouton « calculer normalement avec les prédicteurs choisis ».
• La sélection d’un niveau de groupe dépend du groupe pris comme référence. Les valeurs de λ ne sont comparables qu’au sein de glmnet.

Rapporter le résultat

Lasso (α = 1), λ = 0,417 (règle de l’erreur standard unique), validation croisée 5 × 10, MSE = 4,83 (SE = 0,53) ; 4 prédicteurs sur 10 dans le modèle

Dans le texte, nommez le type de pénalité, la règle pour λ, l’erreur de la validation croisée et le mot « prédiction » - pas « effet ».