Skip to content
Kembali ke hasil pencarian

Regresi Linear Terregularisasi

Diperkenalkan oleh
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
Tahun
1970–2005
Jenis
Penalized linear model
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Regresi linear terregularisasi menambahkan suku penalti pada tujuan kuadrat terkecil biasa, menyusutkan atau menolkan koefisien untuk mengurangi *overfitting* dan menangani multikolinearitas.

Tiga varian utama — Ridge (penalti L2), Lasso (penalti L1), dan Elastic Net (kombinasi L1+L2) — membuat regresi linear dapat digunakan bahkan ketika jumlah fitur melebihi jumlah observasi atau prediktor sangat berkorelasi.

Intuisi di balik metode

Kuadrat terkecil biasa memberikan setiap prediktor koefisien yang tepat yang meminimalkan kesalahan dalam sampel (*in-sample error*), yang dapat menghasilkan koefisien yang sangat besar dan tidak stabil ketika prediktor berkorelasi atau ketika kumpulan data memiliki banyak fitur. Regularisasi menarik koefisien tersebut ke arah nol — secara tegas namun adil — sehingga model kehilangan sedikit akurasi pelatihan demi generalisasi yang jauh lebih baik. Ridge menyusutkan semua koefisien secara proporsional; Lasso melangkah lebih jauh dan dapat mengatur beberapa menjadi nol, secara efektif memilih fitur; Elastic Net menggabungkan kedua strategi dan bekerja ketika prediktor yang berkorelasi perlu dijaga bersama.

Sejarah

Regresi Ridge diperkenalkan oleh Hoerl dan Kennard pada tahun 1970 sebagai obat untuk multikolinearitas dalam kuadrat terkecil biasa. Makalah Lasso Tibshirani tahun 1996 menambahkan regularisasi L1 dan kemampuan untuk menyusutkan koefisien menjadi nol, memungkinkan pemilihan fitur otomatis. Zou dan Hastie memperluas ide-ide ini pada tahun 2005 dengan Elastic Net, menggabungkan penalti L1 dan L2 untuk menangani kelompok prediktor berkorelasi. Ketiga metode ini membentuk perangkat regularisasi kanonik untuk model linear dan merupakan pokok dari *Elements of Statistical Learning* dan *An Introduction to Statistical Learning*.

Kapan digunakan

Gunakan regresi linear terregularisasi ketika memprediksi hasil kontinu dari banyak fitur numerik dan setidaknya beberapa multikolinearitas dicurigai, atau ketika jumlah fitur besar relatif terhadap ukuran sampel. Ridge adalah pilihan default ketika semua fitur masuk akal relevan; Lasso atau Elastic Net ketika pemilihan fitur otomatis diperlukan. Pilih regresi linear biasa (tanpa penalti) hanya ketika fitur sedikit, tidak berkorelasi, dan sampelnya besar. Jangan gunakan varian linear apa pun ketika hasil jelas non-linear atau ketika biner atau kategorikal — gunakan regresi logistik atau metode berbasis pohon sebagai gantinya.

Batasan dan pertimbangan

  • Mengasumsikan hubungan linear antara fitur dan target kontinu; melewatkan pola non-linear kecuali fitur direkayasa secara manual.
  • Standardisasi fitur wajib sebelum penyesuaian; melupakan langkah ini mendistorsi estimasi koefisien.
  • Lasso berkinerja buruk ketika banyak prediktor berkorelasi yang benar-benar relevan ada — ia secara sewenang-wenang memilih satu dan membuang yang lain; Elastic Net adalah pilihan yang lebih aman dalam pengaturan itu.
  • Ridge mempertahankan semua fitur dan tidak menghasilkan model yang jarang (*sparse*), yang dapat mempersulit interpretasi ketika ruang fitur berdimensi sangat tinggi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menghasilkan koefisien linear yang sepenuhnya dapat diinterpretasikan dengan ukuran efek dan arah yang eksplisit.
  • Menangani multikolinearitas dengan baik — Ridge mendistribusikan kembali koefisien di antara prediktor yang berkorelasi; Lasso memilih satu dari sekelompok.
  • Lasso dan Elastic Net melakukan pemilihan fitur bawaan dengan mengatur koefisien yang tidak relevan menjadi nol.
  • Efisien secara komputasi bahkan pada kumpulan data besar; berskala hingga jutaan observasi dengan *coordinate descent*.
  • Pemilihan *lambda* yang divalidasi silang didukung dengan baik di semua perangkat lunak statistik utama (scikit-learn, glmnet, statsmodels).

Penerapan

  • Genomik dan bioinformatika: memprediksi fenotipe kontinu dari ribuan penanda genetik di mana p >> n.
  • Ekonomi dan ilmu sosial: mengestimasi efek banyak variabel kebijakan pada hasil kontinu sambil mengontrol multikolinearitas.
  • Teknik: memprediksi kuantitas fisik dari susunan sensor dengan pengukuran berkorelasi.
  • Pipeline pemilihan fitur: Lasso atau Elastic Net digunakan di hulu untuk mengidentifikasi kumpulan prediktor kecil sebelum menyesuaikan model yang lebih kompleks.
  • Keuangan: meramalkan pengembalian atau ukuran risiko dari banyak faktor makroekonomi dan pasar.
  • Perawatan kesehatan: memprediksi hasil klinis kontinu dari panel besar nilai laboratorium atau fitur turunan pencitraan.

Cara kerjanya

Cara kerjanya

1

Sebelum penyesuaian (*fitting*), semua prediktor distandardisasi (rata-rata nol, varians satuan). Ini wajib karena penalti berlaku sama untuk setiap koefisien — tanpa standardisasi, fitur pada skala yang lebih besar akan dikenakan penalti lebih berat, mendistorsi estimasi koefisien.

2

Praktisi memilih jenis penalti: Ridge menggunakan jumlah kuadrat koefisien (norma L2), yang menyusutkan semua koefisien tetapi tidak pernah mengatur salah satunya menjadi nol. Lasso menggunakan jumlah nilai absolut (norma L1), yang dapat menyusutkan beberapa koefisien menjadi nol, melakukan pemilihan fitur otomatis. Elastic Net secara linear menggabungkan L1 dan L2, dikendalikan oleh parameter pencampuran *alpha*, dan sangat berguna ketika beberapa prediktor berkorelasi relevan.

Rumus
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

Model meminimalkan tujuan yang dikenai penalti — jumlah kuadrat residual ditambah penalti yang dipilih diskalakan oleh kekuatan regularisasi *lambda*. Untuk Ridge, ini memiliki solusi bentuk tertutup (*closed-form solution*); Lasso dan Elastic Net memerlukan optimasi *coordinate-descent* atau *subgradient* karena penalti L1 tidak dapat dibedakan pada nol.

Rumus
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

Kekuatan regularisasi *lambda* adalah *hyperparameter* yang harus disetel melalui validasi silang (*cross-validation*), biasanya pada kisi logaritmik. *Lambda* nol mengembalikan kuadrat terkecil biasa; *lambda* yang sangat besar memaksa semua koefisien menuju nol. *Lambda* optimal menyeimbangkan bias dan varians untuk kumpulan data tertentu.

5

Setelah *lambda* ditetapkan dan koefisien diestimasi, prediksi untuk observasi baru identik dengan regresi linear biasa: produk titik (*dot product*) fitur dan koefisien yang diestimasi. Model tetap sepenuhnya dapat diinterpretasikan dalam hal efek linear.

Rumus
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

Kesalahan umum

  • Penyesuaian tanpa menstandarisasi prediktor, sehingga fitur pada skala yang lebih besar dikenai penalti lebih banyak dan koefisien tidak dapat dibandingkan.
  • Menggunakan *lambda* default alih-alih memilihnya melalui validasi silang — *lambda* yang salah baik *under-regularizes* (mendekati kuadrat terkecil biasa) atau *over-regularizes* (koefisien runtuh menjadi nol).
  • Menerapkan regresi linear terregularisasi pada hasil biner atau hitungan ketika regresi logistik atau regresi Poisson seharusnya digunakan sebagai gantinya.
  • Melaporkan hasil pemilihan variabel Lasso seolah-olah itu konfirmatif — pemilihan Lasso sensitif terhadap kumpulan data dan *lambda*, jadi perlakukan variabel yang dipilih sebagai eksploratori.
  • Mengabaikan asumsi linearitas dan melaporkan model terregularisasi yang buruk tanpa memeriksa residual.

Pertanyaan yang sering diajukan

Kapan saya harus memilih Ridge daripada Lasso?

Pilih Ridge ketika Anda percaya sebagian besar prediktor berkontribusi pada hasil dan menginginkan estimasi koefisien yang stabil tanpa menolkan salah satunya — misalnya ketika prediktor sangat berkorelasi dan Anda ingin mempertahankan semuanya. Pilih Lasso atau Elastic Net ketika Anda mengharapkan banyak fitur tidak relevan dan menginginkan pemilihan fitur otomatis.

Apakah saya masih mendapatkan nilai-p dan interval kepercayaan?

Nilai-p klasik dan kesalahan standar tidak tersedia langsung dari regresi yang dikenai penalti karena estimasi koefisien bias karena desainnya. Metode inferensi pasca-pemilihan (misalnya, Lasso yang didesparsifikasi) ada tetapi jarang digunakan dalam praktik; sebagai gantinya, interval kepercayaan bootstrap atau ukuran stabilitas yang divalidasi silang dilaporkan.

Bagaimana cara memilih kekuatan regularisasi *lambda*?

Pilih *lambda* melalui validasi silang k-lipatan (*k-fold cross-validation*) (biasanya k = 5 atau 10) pada kisi logaritmik. Pustaka seperti scikit-learn RidgeCV dan LassoCV atau glmnet R melakukan ini secara otomatis. Laporkan *lambda* yang dipilih dan catat apakah itu dipilih berdasarkan kesalahan validasi silang minimum atau berdasarkan aturan satu standar-error.

Apakah regresi linear terregularisasi memerlukan fitur yang terdistribusi normal?

Tidak. Seperti kuadrat terkecil biasa, asumsinya adalah pada residual (kira-kira normal, homoskedastik), bukan pada prediktor. Prediktor yang sangat miring atau sarat pencilan masih dapat mendistorsi estimasi, sehingga transformasi log input yang miring adalah langkah pra-pemrosesan yang umum.

Apa itu Elastic Net dan kapan lebih disukai?

Elastic Net menggabungkan penalti L1 dan L2, dikendalikan oleh parameter pencampuran *alpha* (*alpha* = 1 adalah Lasso murni; *alpha* = 0 adalah Ridge murni). Ini lebih disukai ketika kelompok prediktor berkorelasi semuanya relevan — Lasso akan secara sewenang-wenang memilih satu dari kelompok tersebut dan membuang yang lain, sementara Elastic Net cenderung menjaga kelompok tersebut bersama-sama.

Metode terkait

Sumber

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Buka referensi DOI
    Disalin.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Disalin.