Elastic Net
- Diperkenalkan oleh
- Zou, H. & Hastie, T.
- Tahun
- 2005
- Jenis
- Regularized linear regression (L1 + L2 penalty)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Elastic Net adalah metode regresi linear terregularisasi yang diperkenalkan oleh Zou dan Hastie pada tahun 2005 yang memadukan penalti LASSO (L1) dan Ridge (L2), sehingga melakukan seleksi variabel dan penyusutan koefisien secara bersamaan.
Metode ini dirancang untuk pemodelan prediktif dan eksplanatori pada data dengan banyak prediktor, yang mungkin berkorelasi.
Intuisi di balik metode
Regresi linear biasa dapat mengalami overfitting dan berperilaku buruk ketika prediktor berkorelasi atau terdapat lebih banyak fitur daripada observasi. LASSO dapat membuat koefisien menjadi nol untuk memilih variabel tetapi kesulitan ketika kelompok prediktor berkorelasi, sementara Ridge menyusutkan semua secara halus tetapi tidak pernah menghilangkan variabel. Elastic Net memadukan keduanya: ia mempertahankan kemampuan LASSO untuk menetapkan beberapa koefisien tepat menjadi nol sambil meminjam stabilitas Ridge sehingga prediktor yang berkorelasi ditangani dengan baik alih-alih dipilih secara acak.
Sejarah
Elastic Net diperkenalkan oleh Hui Zou dan Trevor Hastie pada tahun 2005 untuk mengatasi dua kelemahan LASSO yang diketahui: perilakunya yang tidak menentu ketika prediktor sangat berkorelasi dan ketidakmampuannya untuk memilih lebih banyak variabel daripada jumlah observasi. Dengan menambahkan suku L2 bergaya Ridge ke penalti L1 LASSO, mereka menghasilkan estimator yang sekaligus memilih variabel dan menstabilkan solusi, dan metode ini telah menjadi alat standar untuk regresi berdimensi tinggi.
Kapan digunakan
Gunakan Elastic Net untuk prediksi atau penjelasan pada hasil kontinu, biner, atau hitungan ketika Anda memiliki banyak prediktor — terutama yang berkorelasi atau lebih banyak fitur daripada observasi — dan menginginkan seleksi variabel otomatis bersama dengan penyusutan. Metode ini mengasumsikan hubungan yang kira-kira linear dan bahwa fitur telah dinormalisasi. Anda memerlukan setidaknya sekitar 30 observasi agar kedua hyperparameter dapat disesuaikan melalui validasi silang; di bawah itu, LASSO atau Ridge biasa lebih aman.
Batasan dan pertimbangan
- Mengasumsikan hubungan yang kira-kira linear antara prediktor dan hasil.
- Fitur harus dinormalisasi terlebih dahulu, atau penalti secara tidak adil lebih menyukai variabel berskala besar.
- Dua hyperparameter (kekuatan penalti dan rasio pencampuran L1/L2) harus disesuaikan, membutuhkan lebih banyak data validasi silang daripada metode penalti tunggal.
- Pada sampel kecil (n di bawah sekitar 30) rasio pencampuran L1/L2 tidak stabil untuk dioptimalkan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menggabungkan seleksi variabel LASSO dengan penyusutan Ridge dalam satu model.
- Menangani prediktor berkorelasi dengan baik, cenderung mempertahankan atau menghilangkannya sebagai kelompok.
- Bekerja ketika jumlah fitur melebihi jumlah observasi.
- Ringan distribusi: tidak memerlukan hasil yang terdistribusi normal dan menangani fitur kontinu, biner, dan hitungan.
Penerapan
- Regresi berdimensi tinggi di mana prediktor melebihi jumlah observasi.
- Studi genomik dan biomarker dengan banyak fitur berkorelasi.
- Pemodelan prediktif yang membutuhkan seleksi variabel dan koefisien yang kuat.
- Pemodelan eksplanatori di mana penyusutan dan pemangkasan prediktor berkorelasi mengklarifikasi sinyal.
Cara kerjanya
Cara kerjanya
Model ini menyesuaikan koefisien dengan meminimalkan kerugian kuadrat error biasa ditambah penalti gabungan: suku L1 yang mendorong beberapa koefisien menjadi tepat nol (seleksi) dan suku L2 yang menyusutkannya secara halus (stabilitas). Kekuatan penalti total dikendalikan oleh λ, dan keseimbangan antara kedua penalti oleh parameter pencampuran (l1_ratio, ditulis α di sini).
Rumus
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)Dua hyperparameter mengatur penyesuaian — kekuatan penalti keseluruhan dan rasio pencampuran L1/L2 — dan keduanya dipilih melalui validasi silang. Karena ada dua penyesuaian yang perlu dilakukan daripada satu, Elastic Net membutuhkan data yang cukup (setidaknya sekitar 30 observasi) agar grid validasi silang dapat diandalkan. Prediktor harus distandardisasi terlebih dahulu sehingga penalti memperlakukan setiap fitur pada skala yang sama.
Model yang disesuaikan mengembalikan sekumpulan koefisien yang jarang: prediktor yang tidak penting didorong ke nol dan dihilangkan, sementara prediktor yang berkorelasi cenderung dipertahankan atau dihilangkan bersama sebagai kelompok daripada satu dipilih secara acak. Koefisien yang tersisa, setelah disusutkan, memberikan model yang lebih stabil dan dapat digeneralisasi daripada regresi tanpa penalti.
Kesalahan umum
- Penyesuaian tanpa menstandardisasi prediktor terlebih dahulu.
- Mencoba menyesuaikan kedua hyperparameter pada terlalu sedikit observasi, membuat grid validasi silang tidak dapat diandalkan.
- Memilih Elastic Net ketika penalti tunggal sudah cukup — LASSO saja jika Anda hanya membutuhkan seleksi, Ridge saja jika Anda hanya membutuhkan penyusutan.
- Menginterpretasikan koefisien yang disusutkan sebagai ukuran efek yang tidak bias.
Pertanyaan yang sering diajukan
Bagaimana Elastic Net berbeda dari LASSO dan Ridge?
LASSO hanya menggunakan penalti L1 (seleksi tetapi tidak stabil dengan prediktor berkorelasi); Ridge hanya menggunakan penalti L2 (penyusutan stabil tetapi tidak pernah menghilangkan variabel). Elastic Net memadukan keduanya, dikendalikan oleh rasio pencampuran, sehingga ia memilih variabel dan tetap stabil dengan fitur berkorelasi.
Apakah saya perlu menskalakan fitur saya?
Ya. Penalti bekerja pada ukuran koefisien, jadi fitur harus dinormalisasi terlebih dahulu; jika tidak, variabel berskala besar akan dikenai penalti secara berbeda dan seleksinya menjadi bias.
Berapa banyak observasi yang saya butuhkan?
Setidaknya sekitar 30. Elastic Net menyesuaikan dua hyperparameter melalui validasi silang, sehingga membutuhkan lebih banyak data daripada metode penalti tunggal. Di bawah 30, gunakan LASSO biasa jika Anda membutuhkan seleksi atau Ridge jika Anda membutuhkan penyusutan.
Apa yang dikendalikan oleh kedua hyperparameter?
Kekuatan penalti keseluruhan (λ) mengontrol seberapa banyak koefisien disusutkan, dan rasio pencampuran (l1_ratio) mengatur keseimbangan antara penalti seleksi L1 dan penalti penyusutan L2. Keduanya dipilih melalui validasi silang.
Metode terkait
Sumber
Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.
Buka referensi DOIDisalin.