Skip to content
Kembali ke hasil pencarian

Regresi Logistik Teregularisasi

Diperkenalkan oleh
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
Tahun
1996–2005
Jenis
Penalized classification model
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Regresi logistik terasionalisasi memperluas regresi logistik standar dengan menambahkan penalti L1 (lasso), L2 (ridge), atau jaring elastis pada log-likelihood, menyusutkan koefisien menuju nol dan mencegah *overfitting*.

Ini adalah pilihan *default* untuk klasifikasi biner atau multinomial ketika Anda menginginkan estimasi koefisien yang dapat diinterpretasikan, jarang (*sparse*), atau stabil dalam ruang fitur berdimensi tinggi atau kolinear.

Intuisi di balik metode

Regresi logistik standar memaksimalkan probabilitas label kelas yang teramati. Dalam pengaturan berdimensi tinggi—banyak fitur, sedikit observasi, atau prediktor yang berkorelasi—koefisien yang diestimasi dapat membengkak atau berfluktuasi liar, menyebabkan generalisasi yang buruk. Rasionalisasi membatasi magnitudo koefisien dengan menambahkan penalti yang tumbuh seiring ukuran koefisien, menukar sedikit kecocokan pada set pelatihan (*training set*) untuk generalisasi yang jauh lebih baik. Penalti L1 mendorong beberapa koefisien menjadi tepat nol (seleksi fitur otomatis), penalti L2 menyusutkan semua koefisien secara mulus tanpa menjadikannya nol, dan jaring elastis memadukan kedua perilaku tersebut.

Sejarah

Regresi Ridge diformalkan oleh Hoerl dan Kennard pada tahun 1970 dan diterapkan pada model linear umum termasuk regresi logistik. Makalah lasso Tibshirani tahun 1996 memperkenalkan regularisasi L1 dengan solusi jarang, mengubah pemodelan berdimensi tinggi. Zou dan Hastie (2005) menggabungkan kedua penalti menjadi jaring elastis, mengatasi keterbatasan lasso dengan kelompok fitur berkorelasi. Saat ini, regresi logistik terasionalisasi adalah algoritma dasar di scikit-learn, glmnet (R), dan LIBLINEAR, dan secara rutin digunakan sebagai pengklasifikasi tolok ukur (*benchmark*) dalam aplikasi biomedis dan NLP.

Kapan digunakan

Gunakan regresi logistik terasionalisasi untuk klasifikasi biner atau multinomial ketika Anda memerlukan keluaran probabilistik yang dapat diinterpretasikan, ketika jumlah fitur besar relatif terhadap ukuran sampel, atau ketika prediktor berkorelasi. Ini adalah model awal yang disukai dalam prediksi klinis, klasifikasi teks dengan fitur *bag-of-words*, dan studi biomarker berdimensi tinggi. Pilih L1 ketika seleksi fitur otomatis diperlukan, L2 untuk estimasi koefisien yang stabil, dan jaring elastis ketika fitur datang dalam kelompok berkorelasi. Hindari jika hubungan hasil-fitur sangat non-linear atau jika ada efek interaksi yang kuat yang tidak dapat ditangkap oleh formulasi log-peluang linear; *ensemble* pohon atau metode kernel mungkin lebih tepat.

Batasan dan pertimbangan

  • Mengasumsikan hubungan linear antara fitur dan log-peluang; tidak dapat menangkap efek non-linear atau interaksi tanpa rekayasa fitur manual.
  • Membutuhkan hasil menjadi kategorikal; hasil kontinu memerlukan regresi linear (bukan logistik).
  • Kinerja menurun ketika fitur relevan berinteraksi kuat, karena model bersifat aditif dalam log-peluang.
  • Lambda optimal harus dipilih melalui validasi silang, menambah komputasi dan langkah penyetelan.
  • Data yang sangat tidak seimbang antar kelas dapat membiaskan probabilitas yang diprediksi ke arah kelas mayoritas tanpa pembobotan ulang.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menghasilkan probabilitas kelas yang terkalibrasi dan koefisien bertanda yang dapat diinterpretasikan, tidak seperti kebanyakan pengklasifikasi kotak hitam (*black-box*).
  • Penalti L1 melakukan seleksi fitur otomatis, menghasilkan model jarang yang mudah dilaporkan.
  • Menangani ruang fitur berdimensi tinggi (p >> n) secara kuat melalui penyusutan koefisien.
  • Penalti jaring elastis menangani kelompok fitur berkorelasi dengan baik, menyebarkan bobot ke prediktor terkait.
  • Sangat cepat dipasang (*fit*) bahkan pada kumpulan data besar menggunakan *solver coordinate descent*; diskalakan hingga jutaan observasi.

Penerapan

  • Skor risiko klinis dan pengklasifikasi diagnostik dari panel biomarker berdimensi tinggi.
  • Klasifikasi teks dengan fitur *bag-of-words* atau TF-IDF, di mana L1 menghasilkan bobot kata jarang yang dapat diinterpretasikan.
  • Genomik dan proteomik di mana jumlah fitur jauh melebihi ukuran sampel.
  • Skoring kredit dan deteksi penipuan yang memerlukan keluaran probabilitas untuk keputusan berbasis ambang batas.
  • Pengklasifikasi tolok ukur (*benchmark*) dasar sebelum mengevaluasi model *ensemble* atau pembelajaran mendalam (*deep learning*) yang lebih kompleks.

Cara kerjanya

Cara kerjanya

1

Kombinasi linear dari fitur memprediksi log-peluang (*log-odds*) kelas positif. Fungsi sigmoid mengubah log-peluang menjadi probabilitas antara 0 dan 1, membuat keluaran dapat langsung diinterpretasikan sebagai probabilitas kelas.

Rumus
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

Tujuan optimasi adalah negatif log-likelihood (entropi silang) ditambah suku penalti. Penalti diskalakan dengan magnitudo koefisien, dikendalikan oleh hiperparameter lambda (kekuatan) dan alfa (campuran L1/L2). Lambda yang lebih besar memberlakukan penyusutan yang lebih berat; alfa=1 memberikan lasso murni, alfa=0 memberikan ridge murni.

Rumus
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

Pilihan penalti menentukan perilaku: L1 (lasso) menghasilkan solusi jarang dengan menolkan fitur yang tidak relevan dan lebih disukai ketika seleksi fitur diinginkan. L2 (ridge) lebih disukai ketika semua fitur diharapkan berkontribusi dan kolinearitas tinggi. Jaring elastis (alfa antara 0 dan 1) menangani kelompok fitur berkorelasi lebih baik daripada lasso saja.

4

Kerugian yang diberi penalti diminimalkan menggunakan algoritma iteratif seperti *coordinate descent* (solvers liblinear/saga scikit-learn). Lambda optimal ditentukan oleh validasi silang (*cross-validation*), biasanya pada kisi logaritmik. Menstandardisasi fitur sebelum pemasangan (*fitting*) sangat penting sehingga penalti diterapkan secara konsisten di semua prediktor.

5

Probabilitas yang diprediksi diubah menjadi label kelas menggunakan ambang batas keputusan (*decision threshold*), biasanya 0,5 secara *default*. Dalam pengaturan yang tidak seimbang, ambang batas harus disesuaikan untuk menyeimbangkan presisi dan perolehan (*recall*) sesuai dengan struktur biaya aplikasi.

Rumus
\hat{y} = \mathbf{1}[\hat{p} \ge t]

Kesalahan umum

  • Pemasangan tanpa menstandardisasi fitur: penalti memperlakukan semua koefisien secara setara, sehingga fitur pada skala yang berbeda menerima penyusutan yang tidak setara, mendistorsi solusi.
  • Menggunakan ambang batas *default* 0,5 tanpa memeriksa kalibrasi dan keseimbangan kelas, yang secara diam-diam menurunkan perolehan (*recall*) pada kelas minoritas.
  • Melaporkan hanya akurasi alih-alih metrik AUC, F1, dan kalibrasi, menutupi kinerja kelas minoritas yang buruk.
  • Melewatkan validasi silang untuk pemilihan lambda dan malah mengevaluasi pada data pelatihan, yang mengarah ke model yang *overfitted*.
  • Menginterpretasikan koefisien yang dipilih lasso sebagai kausal tanpa memperhitungkan bias variabel yang dihilangkan (*omitted-variable bias*) dan ketidakstabilan pemilihan variabel di dekat batas keputusan.

Pertanyaan yang sering diajukan

Bagaimana cara memilih antara L1, L2, dan jaring elastis?

Gunakan L1 ketika Anda percaya hanya sebagian fitur yang relevan dan Anda menginginkan seleksi otomatis. Gunakan L2 ketika semua fitur kemungkinan berkontribusi atau prediktor sangat berkorelasi, karena ridge mendistribusikan bobot ke seluruh kelompok yang berkorelasi. Gunakan jaring elastis ketika Anda membutuhkan kekosongan (*sparsity*) tetapi juga memiliki blok fitur yang berkorelasi; sesuaikan alfa bersama dengan lambda melalui validasi silang bersarang (*nested cross-validation*).

Apakah saya harus menstandardisasi fitur sebelum pemasangan (*fitting*)?

Ya, selalu. Suku penalti memperlakukan semua koefisien secara setara, sehingga fitur dengan nilai numerik besar akan menerima penyusutan yang secara proporsional lebih sedikit kecuali distandardisasi. Pusatkan dan skalakan setiap fitur ke rata-rata nol dan varians unit sebelum pemasangan dan terapkan transformasi yang sama pada data uji.

Bagaimana lambda dipilih?

Lambda adalah hiperparameter yang dipilih melalui validasi silang, biasanya k-lipat (*k-fold*) (k=5 atau 10) pada kisi logaritmik. Di glmnet R, cv.glmnet mengotomatiskan ini. Di scikit-learn, LogisticRegressionCV atau GridSearchCV dengan validasi silang pada kekuatan invers regularisasi C (C=1/lambda) harus digunakan.

Apakah regresi logistik terasionalisasi memberikan probabilitas yang terkalibrasi?

Umumnya ya, lebih baik daripada *ensemble* pohon, karena regresi logistik secara langsung memodelkan probabilitas kelas melalui sigmoid. Namun, regularisasi ekstrem dapat memampatkan probabilitas yang diprediksi ke arah 0,5. Penskalaan Platt (*Platt scaling*) atau regresi isotonik dapat mengkalibrasi ulang jika diperlukan.

Bagaimana cara menangani ketidakseimbangan kelas?

Atur class_weight='balanced' (scikit-learn) sehingga observasi kelas minoritas menerima bobot kerugian yang lebih tinggi, atau lakukan *resampling* set pelatihan secara manual. Juga sesuaikan ambang batas keputusan menggunakan kurva presisi-perolehan (*precision-recall curve*) daripada memperbaikinya pada 0,5.

Metode terkait

Sumber

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Buka referensi DOI
    Disalin.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN: 978-0-387-84857-0
    Disalin.