Regresi Ridge
- Diperkenalkan oleh
- Hoerl, A.E. & Kennard, R.W.
- Tahun
- 1970
- Jenis
- L2-regularized linear regression
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Ridge Regression adalah metode regresi linear yang diregularisasi L2, diperkenalkan oleh Arthur Hoerl dan Robert Kennard pada tahun 1970, yang mengurangi multikolinearitas dengan menambahkan penalti pada besaran koefisien.
Metode ini menyusutkan koefisien mendekati nol tanpa menjadikannya tepat nol, menghasilkan estimasi yang lebih stabil ketika prediktor sangat berkorelasi.
Intuisi di balik metode
Ketika prediktor berkorelasi kuat, koefisien ordinary least squares (OLS) menjadi tidak stabil dan dapat berfluktuasi liar dari satu sampel ke sampel lain. Ridge Regression secara sengaja menerima sedikit bias sebagai ganti varians yang jauh lebih rendah: dengan menambahkan penalti pada kuadrat besaran koefisien, metode ini menjinakkan fluktuasi liar tersebut dan mempertahankan semua variabel dalam model, hanya dengan bobot yang lebih kecil dan lebih stabil.
Sejarah
Ridge Regression diperkenalkan oleh Arthur E. Hoerl dan Robert W. Kennard pada tahun 1970 sebagai cara untuk memperoleh estimasi yang bias namun lebih stabil untuk masalah non-ortogonal (kolinier), di mana ordinary least squares gagal. Gagasan menambahkan penalti L2 menjadi alat fundamental dari regresi yang diregularisasi dan pendahulu langsung untuk metode selanjutnya seperti LASSO dan Elastic Net, yang menggabungkan atau membandingkan perilaku penyusutannya dengan pemilihan variabel eksplisit.
Kapan digunakan
Gunakan Ridge Regression untuk prediksi dengan prediktor kontinu, biner, atau hitungan ketika multikolinearitas hadir — misalnya ketika faktor inflasi varians melebihi 10 — dan Anda ingin mempertahankan semua variabel daripada memilih di antaranya. Metode ini mengasumsikan hubungan yang kira-kira linear dan setidaknya sekitar 30 observasi. Fitur harus distandardisasi terlebih dahulu. Ketika sampel kecil dan kolinearitas ringan, regresi linear biasa lebih dapat diinterpretasikan; ketika pemilihan variabel adalah tujuannya, LASSO atau Elastic Net lebih disukai.
Batasan dan pertimbangan
- Tidak melakukan pemilihan variabel; metode ini tidak dapat menolkan prediktor yang tidak relevan seperti yang dapat dilakukan LASSO.
- Memerlukan fitur untuk distandardisasi, jika tidak, penalti akan secara tidak adil lebih menyukai variabel berskala besar.
- Mengasumsikan hubungan linear antara prediktor dan hasil.
- Pada sampel kecil (n di bawah sekitar 30) tuning alpha melalui cross-validation tidak dapat diandalkan dan OLS biasa mungkin sudah cukup.
- Ketika kolinearitas sebenarnya bukan masalah, penyusutan tidak diperlukan dan mengurangi interpretasi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mengurangi multikolinearitas dan menstabilkan estimasi koefisien dengan menambahkan penalti L2.
- Mempertahankan setiap prediktor dalam model — koefisien menyusut tetapi tidak ada yang dihilangkan menjadi nol.
- Menurunkan varians dengan mengorbankan peningkatan bias yang kecil dan terkontrol, seringkali meningkatkan prediksi.
- Memiliki satu hyperparameter (alpha) yang mudah di-tuning dan dipilih melalui cross-validation.
- Bekerja dengan prediktor kontinu, biner, dan hitungan tanpa memerlukan data yang terdistribusi normal.
Penerapan
- Prediksi dengan banyak prediktor berkorelasi di mana multikolinearitas menggelembungkan varians OLS.
- Menstabilkan koefisien regresi ketika faktor inflasi varians tinggi (VIF di atas 10).
- Pemodelan ketika semua prediktor harus dipertahankan daripada dipilih.
- Dasar regularisasi sebelum membandingkan dengan LASSO atau Elastic Net.
Cara kerjanya
Cara kerjanya
Ordinary least squares menyesuaikan koefisien dengan meminimalkan error kuadrat saja. Ketika dua atau lebih prediktor hampir redundan (multikolinearitas), hal ini membuat koefisien tidak terdefinisi dengan baik dan sangat sensitif terhadap noise. Ridge mengatasi ini dengan mencegah koefisien yang besar, menukar sedikit bias untuk stabilitas yang jauh lebih besar.
Ridge meminimalkan jumlah error kuadrat yang biasa ditambah penalti yang setara dengan konstanta tuning alpha dikalikan jumlah kuadrat koefisien. Penalti L2 ini menyusutkan semua koefisien mendekati nol secara proporsional dengan ukurannya, tetapi tidak seperti LASSO, metode ini tidak pernah memaksa koefisien menjadi tepat nol, sehingga setiap prediktor dipertahankan. Standardisasi fitur sebelumnya diperlukan agar penalti memperlakukan setiap prediktor secara adil.
Rumus
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2Kekuatan penalti dikontrol oleh alpha: nilai yang lebih besar menyusutkan koefisien lebih banyak. Nilai yang tepat dipilih melalui cross-validation, biasanya dengan memindai rentang alpha dan memilih yang meminimalkan mean squared error yang divalidasi silang (cross-validated mean squared error).
Kesalahan umum
- Melakukan fitting Ridge pada fitur mentah yang tidak distandardisasi sehingga penalti mendistorsi koefisien.
- Memilih alpha secara manual alih-alih memilihnya melalui cross-validation.
- Menerapkan Ridge ketika tidak ada multikolinearitas yang nyata, menyusutkan koefisien tanpa manfaat.
- Mengharapkan pemilihan variabel — Ridge mempertahankan semua variabel, jadi gunakan LASSO atau Elastic Net jika Anda membutuhkan sparsity.
- Melewatkan diagnostik residual (normalitas, homoskedastisitas) setelah fitting.
Pertanyaan yang sering diajukan
Bagaimana Ridge berbeda dari LASSO?
Keduanya menambahkan penalti untuk menyusutkan koefisien, tetapi Ridge menggunakan penalti L2 yang menyusutkan koefisien mendekati nol tanpa pernah mencapainya, sehingga semua prediktor tetap dalam model. LASSO menggunakan penalti L1 yang dapat menetapkan koefisien tepat nol, melakukan pemilihan variabel. Pilih Ridge untuk menstabilkan prediktor berkorelasi dan LASSO ketika Anda membutuhkan model yang sparse.
Apakah saya perlu menstandardisasi fitur saya?
Ya. Standardisasi fitur diperlukan, karena penalti L2 bekerja pada besaran koefisien; tanpa standardisasi, penalti akan secara tidak adil menyusutkan variabel yang diukur dalam skala yang lebih besar.
Bagaimana cara memilih kekuatan penalti alpha?
Pilih alpha melalui cross-validation: pindai rentang nilai dan pilih yang meminimalkan mean squared error yang divalidasi silang. Plot kurva CV MSE terhadap alpha menunjukkan di mana letak optimumnya.
Kapan saya seharusnya tidak menggunakan Ridge?
Jika tidak ada multikolinearitas yang nyata, Ridge menambahkan penyusutan yang tidak perlu dan regresi linear biasa lebih dapat diinterpretasikan. Dengan sampel yang sangat kecil (n di bawah sekitar 30), tuning alpha tidak dapat diandalkan, dan jika Anda perlu menghilangkan variabel yang tidak relevan, Anda harus menggunakan LASSO atau Elastic Net sebagai gantinya.
Metode terkait
Sumber
Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
Buka referensi DOIDisalin.