Ridge, lasso και elastic net (παλινδρόμηση με ποινή)

Εν συντομία

Ένας αριθμός προβλέπεται από πολλές προβλεπτικές μεταβλητές χωρίς το μοντέλο να υπερπροσαρμοστεί στα τυχαία χαρακτηριστικά του δείγματος: μια ποινή τραβά τους συντελεστές προς το μηδέν (ridge) ή μηδενίζει ακριβώς τους ασήμαντους (lasso)· το elastic net συνδυάζει και τα δύο. Επιλέγεται στο «Περισσότερες επιλογές» → «Μοντέλο» στο ερώτημα «Μπορεί να προβλεφθεί κάτι;», για όλα τα επιστημονικά πεδία.

Σε τι χρησιμεύει

Για καλές προβλέψεις όταν υπάρχουν πολλές προβλεπτικές μεταβλητές σε σχέση με τις περιπτώσεις ή όταν συνδέονται στενά. Όχι για έλεγχο μεμονωμένων επιδράσεων: μετά την επιλογή δεν υπάρχουν τιμές p.

Προϋποθέσεις

• Εξαρτημένη μεταβλητή: ένας αριθμός με περισσότερες από δύο τιμές· τουλάχιστον τρεις προβλεπτικές μεταβλητές (μετρούν οι βοηθητικές στήλες των ομάδων, το πολύ 500)· τουλάχιστον 25 περιπτώσεις. Επιτρέπονται περισσότερες προβλεπτικές μεταβλητές από περιπτώσεις (μόνο για πρόβλεψη).
• Κενά: μόνο πλήρεις περιπτώσεις. Οι στήλες με την ίδια τιμή παντού παραλείπονται και κατονομάζονται.
• Η παλινδρόμηση με ποινή (penalized regression) δεν λειτουργεί με βάρος περίπτωσης: ίδιες περιπτώσεις θα βρίσκονταν ταυτόχρονα στην εκπαίδευση και στον έλεγχο της διασταυρωμένης επικύρωσης.

Ανάγνωση του αποτελέσματος

• Μια διασταυρωμένη επικύρωση 5 × 10 επιλέγει την ένταση της ποινής (λ): 5 επαναλήψεις με διαφορετική διαίρεση (από 50 περιπτώσεις 10 υποσύνολα, κάτω από αυτό 5)· το μέτρο σφάλματος είναι το μέσο τετραγωνικό σφάλμα στις περιπτώσεις που έλειπαν από την προσαρμογή. Εξ ορισμού ισχύει ο κανόνας του ενός τυπικού σφάλματος: το απλούστερο μοντέλο του οποίου το σφάλμα βρίσκεται ακόμη εντός του εύρους διακύμανσης του καλύτερου. Μπορεί να επιλεγεί και το μικρότερο σφάλμα.
• Πίνακας: ο συντελεστής στην αρχική κλίμακα, ο τυποποιημένος συντελεστής (συγκρίσιμος μεταξύ των προβλεπτικών μεταβλητών), αν η προβλεπτική μεταβλητή είναι στο μοντέλο και σε πόσες από τις επαναλήψεις επιλέχθηκε. Το ότι μια προβλεπτική μεταβλητή επιλέχθηκε δεν σημαίνει ότι είναι σημαντική.
• Διαγράμματα: η καμπύλη του σφάλματος ως προς log λ (με τυπικό σφάλμα, λ min και λ 1se, πάνω ο αριθμός των προβλεπτικών μεταβλητών στο μοντέλο) και η διαδρομή των τυποποιημένων συντελεστών.
• Χωρίς τιμές p και χωρίς διαστήματα εμπιστοσύνης: η επιλογή και η εκτίμηση προέρχονται από τα ίδια δεδομένα· οι συνήθεις έλεγχοι και τα συνήθη διαστήματα θα ήταν υπερβολικά αισιόδοξα. Σκόπιμα δεν υπάρχει κουμπί «υπολογισμός με τον συνήθη τρόπο με τις επιλεγμένες προβλεπτικές μεταβλητές».
• Η επιλογή ενός επιπέδου ομάδας (group level) εξαρτάται από το ποια ομάδα χρησιμεύει ως αναφορά. Οι τιμές του λ είναι συγκρίσιμες μόνο μέσα στο glmnet.

Αναφορά του αποτελέσματος

Lasso (α = 1), λ = 0,417 (κανόνας του ενός τυπικού σφάλματος), διασταυρωμένη επικύρωση 5 × 10, MSE = 4,83 (SE = 0,53)· 4 από 10 προβλεπτικές μεταβλητές στο μοντέλο

Στο κείμενο ονομάστε το είδος της ποινής, τον κανόνα για το λ, το σφάλμα της διασταυρωμένης επικύρωσης και τη λέξη «πρόβλεψη» - όχι «επίδραση».