Skip to content
Kembali ke hasil pencarian

Regresi Logistik (ML)

Diperkenalkan oleh
Cox, D. R.
Tahun
1958
Jenis
Probabilistic linear classifier
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Regresi logistik adalah pengklasifikasi probabilistik fundamental yang memodelkan log-odds dari hasil biner (atau multinomial) sebagai fungsi linear dari prediktor.

Diperkenalkan oleh D. R. Cox pada tahun 1958, metode ini tetap menjadi salah satu metode klasifikasi yang paling banyak digunakan dan dapat diinterpretasikan baik dalam statistik maupun pembelajaran mesin, dihargai karena keluaran probabilitasnya yang terkalibrasi dan interpretasi koefisiennya yang jelas.

Intuisi di balik metode

Regresi logistik bertanya: berdasarkan sekumpulan fitur, berapa probabilitas suatu observasi termasuk dalam kelas tertentu? Metode ini menyesuaikan garis lurus ke log-odds hasil, kemudian memampatkan skor linear tersebut melalui kurva sigmoid (berbentuk S) untuk menghasilkan probabilitas antara 0 dan 1. Setiap koefisien prediktor secara langsung memberi tahu Anda bagaimana perubahan satu unit pada fitur tersebut menggeser log-odds kelas positif, membuat model sangat transparan. Probabilitas yang diprediksi di atas 0,5 diklasifikasikan sebagai kelas positif, meskipun ambang batas ini dapat disesuaikan.

Sejarah

David Cox memformalkan regresi logistik untuk hasil biner pada tahun 1958, memperluas karya sebelumnya tentang model probit. Melalui tahun 1970-an–1980-an, metode ini menjadi pengklasifikasi standar dalam epidemiologi dan ilmu sosial. Kerangka kerja maksimum-likelihood, yang diperluas ke hasil multinomial dan varian yang diregularisasi, dikonsolidasikan oleh Lasso Tibshirani (1996) dan oleh The Elements of Statistical Learning karya Hastie, Tibshirani, dan Friedman (2001). Saat ini, metode ini tetap menjadi pengklasifikasi interpretatif kanonik dan merupakan dasar yang diperlukan dalam banyak pedoman tinjauan sejawat.

Kapan digunakan

Gunakan regresi logistik ketika hasil bersifat biner atau kategorikal, ukuran sampel setidaknya moderat (n > 10 kejadian per prediktor sebagai aturan praktis), dan koefisien yang dapat diinterpretasikan atau probabilitas yang terkalibrasi diperlukan. Ini adalah pengklasifikasi dasar default dalam ilmu sosial, kedokteran, dan epidemiologi dan harus dicoba sebelum model yang lebih kompleks. Hindari ketika batas keputusan sangat non-linear, ketika banyak suku interaksi diperlukan, atau ketika akurasi prediksi pada data tabular yang kompleks lebih penting daripada interpretasi — dalam kasus tersebut, ensemble berbasis pohon atau SVM biasanya berkinerja lebih baik.

Batasan dan pertimbangan

  • Mengasumsikan hubungan linear antara fitur dan log-odds hasil; pola non-linear memerlukan rekayasa fitur manual atau model non-linear.
  • Sensitif terhadap multikolinearitas di antara prediktor: fitur yang berkorelasi meningkatkan kesalahan standar koefisien dan menstabilkan estimasi.
  • Memerlukan jumlah kejadian yang wajar per prediktor (aturan praktis: setidaknya 10); kelas hasil yang jarang menyebabkan masalah konvergensi dan overfitting.
  • Mungkin berkinerja lebih buruk daripada metode ensemble (random forest, gradient boosting) pada data tabular yang kompleks dengan banyak interaksi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menghasilkan probabilitas kelas yang terkalibrasi, bukan hanya label, yang dapat langsung digunakan untuk pemeringkatan dan penentuan ambang batas keputusan.
  • Koefisien dapat diinterpretasikan sebagai rasio log-odds, memenuhi standar yang diharapkan dalam penelitian klinis, ilmu sosial, dan kebijakan.
  • Cepat secara komputasi dan efisien memori bahkan pada dataset besar.
  • Varian yang diregularisasi (Ridge, Lasso, Elastic Net) menangani fitur berdimensi tinggi dan melakukan pemilihan fitur otomatis.
  • Asumsi ringan dibandingkan dengan analisis diskriminan: tidak memerlukan normalitas multivariat prediktor.
  • Kuat dan dipahami dengan baik; berfungsi sebagai dasar yang kuat dan kredibel terhadap mana model kompleks harus dibandingkan.

Penerapan

  • Diagnosis penyakit dan penilaian risiko klinis (misalnya, memprediksi rawat inap kembali atau mortalitas).
  • Risiko kredit dan deteksi penipuan dalam keuangan.
  • Pemodelan respons survei biner dalam ilmu sosial dan epidemiologi.
  • Klasifikasi spam dan sentimen sebagai dasar teks yang cepat dan dapat diinterpretasikan.
  • Pengklasifikasi dasar sebelum menerapkan model ensemble yang lebih kompleks.

Cara kerjanya

Cara kerjanya

1

Jumlah tertimbang dari semua fitur masukan dihitung. Setiap fitur menerima koefisien (bobot) yang dipelajari dari data; intersep menangkap log-odds dasar ketika semua fitur bernilai nol. Bentuknya identik dengan regresi linear tetapi keluarannya diinterpretasikan sebagai skor log-odds daripada prediksi numerik langsung.

Rumus
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

Skor linear ditransformasikan oleh fungsi sigmoid, yang memetakan setiap bilangan real ke interval terbuka (0, 1). Ini menghasilkan probabilitas kelas yang terkalibrasi dengan baik. Untuk masalah multi-kelas, fungsi softmax menggeneralisasi langkah ini untuk menghasilkan distribusi probabilitas di semua kelas.

Rumus
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

Parameter model diestimasi dengan memaksimalkan log-likelihood dari label yang diamati berdasarkan probabilitas yang diprediksi. Ini setara dengan meminimalkan kerugian cross-entropy biner. Berbeda dengan metode kuadrat terkecil biasa, tidak ada solusi bentuk tertutup: algoritma optimasi iteratif (biasanya Newton–Raphson atau penurunan gradien) digunakan.

Rumus
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

Penyelesai iteratif — seperti L-BFGS, Newton–Raphson, atau penurunan gradien stokastik — memperbarui vektor koefisien hingga konvergen. Suku regularisasi (L1 atau L2) dapat ditambahkan ke tujuan untuk menyusutkan koefisien, mencegah overfitting dan memungkinkan pemilihan fitur otomatis (L1 / Lasso).

5

Probabilitas yang disesuaikan dibandingkan dengan ambang batas klasifikasi (default 0,5) untuk menetapkan label kelas. Dalam pengaturan yang tidak seimbang atau ketika biaya positif palsu dan negatif palsu berbeda, ambang batas ini harus disesuaikan menggunakan kurva presisi-recall atau analisis ROC daripada dibiarkan pada 0,5.

Rumus
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

Kesalahan umum

  • Menghilangkan pemisahan latih/uji atau validasi silang dan mengevaluasi pada data pelatihan, yang meningkatkan kinerja yang tampak.
  • Menggunakan akurasi sebagai satu-satunya metrik dengan kelas yang tidak seimbang alih-alih melaporkan AUC-ROC, F1, dan matriks kebingungan.
  • Mengabaikan asumsi linearitas dan menerapkan regresi logistik ke data dengan batas kelas yang sangat non-linear tanpa pemeriksaan diagnostik.
  • Gagal menerapkan regularisasi ketika jumlah prediktor besar relatif terhadap ukuran sampel, yang menyebabkan overfitting.
  • Tidak memeriksa multikolinearitas (melalui VIF) sebelum menginterpretasikan besaran koefisien.

Pertanyaan yang sering diajukan

Kapan saya harus memilih regresi logistik daripada random forest?

Ketika Anda membutuhkan probabilitas yang terkalibrasi, koefisien yang dapat diinterpretasikan, atau harus memenuhi standar pelaporan yang memerlukan rasio odds eksplisit — seperti dalam uji klinis atau evaluasi kebijakan. Random forest biasanya mencapai akurasi prediksi yang lebih tinggi tetapi tidak memberikan interpretasi koefisien langsung.

Berapa banyak observasi yang saya butuhkan?

Aturan praktis yang banyak dikutip adalah setidaknya 10 kejadian (hasil positif) per variabel prediktor. Dengan lebih sedikit kejadian, estimasi parameter menjadi tidak stabil dan interval kepercayaan tidak dapat diandalkan. Regularisasi atau likelihood yang diberi penalti dapat memperluas rentang yang dapat digunakan.

Haruskah saya menstandarisasi fitur saya?

Menstandarisasi fitur tidak diperlukan untuk prediksi, tetapi penting ketika membandingkan besaran koefisien antar prediktor atau ketika menggunakan regularisasi (L1 atau L2), karena penalti memperlakukan semua koefisien pada skala yang sama.

Apa perbedaan antara regresi logistik biner dan multinomial?

Regresi logistik biner memodelkan hasil dua kelas menggunakan fungsi sigmoid. Regresi logistik multinomial (softmax) menggeneralisasi ini ke tiga atau lebih kelas yang tidak berurutan, mengestimasi satu set koefisien per kelas relatif terhadap kelas referensi.

Bagaimana cara menangani ketidakseimbangan kelas?

Atur class_weight='balanced' di scikit-learn untuk menimbang ulang fungsi kerugian, atau lakukan oversampling pada kelas minoritas (SMOTE). Selalu evaluasi dengan kurva AUC-ROC dan presisi-recall daripada akurasi, dan sesuaikan ambang batas klasifikasi pada set validasi.

Metode terkait

Sumber

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    Buka referensi DOI
    Disalin.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    ISBN: 978-1-4614-7138-7
    Disalin.