Regresi Lasso
- Diperkenalkan oleh
- Tibshirani, R.
- Tahun
- 1996
- Jenis
- Regularized linear regression (L1 penalty)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Regresi Lasso, diperkenalkan oleh Robert Tibshirani pada tahun 1996, adalah metode regresi linear yang menambahkan penalti L1 pada kerugian sehingga menyusutkan koefisien dan melakukan seleksi variabel secara bersamaan, menghasilkan model yang jarang.
Dengan mendorong beberapa koefisien menjadi nol, ia hanya mempertahankan prediktor yang penting.
Intuisi di balik metode
Pencocokan kuadrat terkecil biasa mencocokkan setiap prediktor dan dapat menyebarkan bobot ke banyak variabel yang berkorelasi atau tidak relevan, yang meningkatkan varians dan menyembunyikan fitur mana yang benar-benar mendorong hasil. Lasso menambahkan anggaran pada ukuran total koefisien: seiring pengetatan anggaran tersebut, prediktor yang lemah didorong hingga nol dan keluar dari model. Hasilnya adalah kumpulan variabel yang lebih kecil, lebih stabil, dan lebih mudah diinterpretasikan.
Sejarah
Lasso diperkenalkan oleh Robert Tibshirani pada tahun 1996 sebagai cara untuk menggabungkan penyusutan regresi yang diberi penalti dengan seleksi variabel otomatis, menggunakan penalti L1 pada koefisien. Ini menjadi landasan statistik berdimensi tinggi dan memotivasi metode terkait seperti regresi ridge dan jaring elastis, yang menukar atau menggabungkan penalti L1 dan L2.
Kapan digunakan
Kecocokan yang baik ketika Anda menginginkan model linear yang jarang dan dapat diinterpretasikan untuk prediksi atau penjelasan dari banyak prediktor kontinu, biner, atau hitungan, dan setidaknya sekitar 30 observasi. Ini sangat berguna ketika multikolinearitas ada (misalnya VIF di atas 10) dan Anda ingin metode itu sendiri memilih variabel mana yang akan disimpan. Ini mengasumsikan hubungan yang kira-kira linear dan memerlukan fitur untuk distandardisasi. Di bawah sekitar 30 observasi, seleksi variabel menjadi tidak stabil dan regresi ridge lebih aman; ketika jumlah prediktor melebihi ukuran sampel, jaring elastis lebih disukai.
Batasan dan pertimbangan
- Mengasumsikan hubungan linear antara prediktor dan hasil.
- Fitur harus distandardisasi terlebih dahulu atau penalti memperlakukan variabel pada skala yang berbeda secara tidak adil.
- Pada sampel kecil (n di bawah sekitar 30) variabel yang dipilih tidak stabil dan tidak dapat direproduksi.
- Ketika jumlah prediktor melebihi ukuran sampel, ia dapat memilih paling banyak n variabel, sehingga jaring elastis lebih disukai.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Melakukan seleksi variabel dan penyusutan koefisien dalam satu pencocokan, menghasilkan model yang jarang dan dapat diinterpretasikan.
- Mendorong prediktor yang lemah menjadi nol, yang menyederhanakan model dan mengurangi overfitting.
- Respons alami terhadap multikolinearitas (VIF tinggi) tanpa menghapus variabel secara manual.
- Tidak memerlukan data yang terdistribusi normal dan menangani prediktor kontinu, biner, dan hitungan.
- Hanya satu parameter penyetelan (lambda), yang mudah diatur melalui validasi silang.
Penerapan
- Membangun model prediksi yang jarang dan dapat diinterpretasikan dari banyak prediktor kandidat.
- Seleksi variabel otomatis ketika multikolinearitas (VIF tinggi) ada.
- Pengaturan berdimensi tinggi di mana hanya sebagian dari fitur yang diharapkan penting.
- Dasar regularisasi sebelum mencoba jaring elastis atau model yang lebih kompleks.
Cara kerjanya
Cara kerjanya
Lasso meminimalkan jumlah kuadrat residu biasa ditambah penalti yang setara dengan lambda dikalikan jumlah nilai absolut koefisien. Penalti L1 ini adalah fitur yang menentukan: semakin besar lambda, semakin banyak koefisien ditarik ke arah nol.
Rumus
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|Karena penalti L1 memiliki sudut yang tajam, ia melakukan lebih dari sekadar menyusutkan koefisien ke arah nol — ia menetapkan banyak di antaranya menjadi nol. Variabel dengan koefisien nol secara efektif dihapus, sehingga pencocokan dan seleksi variabel terjadi dalam satu langkah dan model akhir jarang.
Kekuatan penalti lambda mengontrol keseimbangan antara kecocokan dan kekosongan, sehingga dipilih melalui validasi silang: berbagai nilai lambda dicoba dan yang meminimalkan kesalahan kuadrat rata-rata yang divalidasi silang dipertahankan. Fitur harus distandardisasi terlebih dahulu sehingga penalti tunggal berlaku secara adil di seluruh prediktor pada skala yang berbeda.
Kesalahan umum
- Pencocokan Lasso tanpa menstandardisasi fitur sebelumnya.
- Memilih lambda secara manual alih-alih menyetelnya dengan validasi silang.
- Mempercayai variabel yang dipilih pada sampel yang sangat kecil di mana seleksi tidak stabil.
- Lupa memeriksa plot residu untuk normalitas dan homogenitas setelah pencocokan.
- Mengabaikan bahwa, dengan lebih banyak prediktor daripada observasi, Lasso membatasi jumlah variabel yang dipilih.
Pertanyaan yang sering diajukan
Bagaimana lambda dipilih?
Lambda mengontrol seberapa kuat koefisien diberi penalti. Ini dipilih melalui validasi silang: berbagai nilai dicoba dan yang meminimalkan kesalahan kuadrat rata-rata yang divalidasi silang dipertahankan.
Mengapa saya harus menstandardisasi fitur?
Penalti L1 tunggal berlaku sama untuk setiap koefisien, sehingga prediktor yang diukur pada skala yang lebih besar akan diberi penalti lebih sedikit. Menstandardisasi fitur terlebih dahulu membuat penalti adil di seluruh variabel.
Bagaimana Lasso berbeda dari regresi ridge?
Lasso menggunakan penalti L1 yang dapat menetapkan koefisien menjadi nol, melakukan seleksi variabel, sementara ridge menggunakan penalti L2 yang menyusutkan koefisien tetapi tidak menjadikannya nol. Pada sampel kecil atau ketika seleksi tidak stabil, ridge adalah pilihan yang lebih aman.
Apa yang harus saya periksa setelah pencocokan?
Periksa kurva MSE validasi silang untuk mengonfirmasi lambda yang dipilih, tinjau variabel mana yang disimpan versus ditetapkan menjadi nol, dan periksa plot residu untuk normalitas dan homogenitas.
Metode terkait
Sumber
Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Buka referensi DOIDisalin.