Regresi Linier (ML)
- Diperkenalkan oleh
- Legendre, A.-M. & Gauss, C.F.
- Tahun
- 1805–1809
- Jenis
- Supervised regression
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Regresi linier menyesuaikan hubungan garis lurus antara satu atau lebih fitur masukan dan hasil numerik kontinu dengan meminimalkan jumlah kuadrat kesalahan prediksi.
Sebagai model pembelajaran mesin, model ini dilatih pada contoh berlabel dan dievaluasi pada data yang disisihkan, menjadikannya dasar pembelajaran terawasi (supervised learning) yang paling sederhana untuk tugas regresi apa pun.
Intuisi di balik metode
Bayangkan menggambar garis yang paling sesuai melalui plot sebar (scatter plot) titik data. Regresi linier melakukan hal ini untuk banyak prediktor sekaligus: ia menemukan kombinasi bobot fitur yang meminimalkan total jarak kuadrat antara prediksi garis dan nilai sebenarnya. Karena hubungan dinyatakan sebagai jumlah tertimbang sederhana dari masukan, setiap koefisien memberi tahu Anda secara langsung seberapa banyak hasil yang diprediksi berubah ketika fitur tersebut meningkat satu unit, dengan menjaga semua yang lain tetap konstan. Transparansi ini membuat regresi linier sangat mudah dijelaskan dan diaudit, meskipun akan mengalami underfitting kapan pun hubungan sebenarnya melengkung atau melibatkan interaksi.
Sejarah
Kuadrat terkecil diterbitkan secara independen oleh Legendre pada tahun 1805 dan Gauss sekitar tahun 1809. Pada pertengahan abad kedua puluh, regresi linier telah menjadi teknik dasar statistik terapan. Pembingkaian ulang sebagai model pembelajaran mesin — dilatih pada contoh, dievaluasi pada data yang disisihkan, dan diregularisasi untuk mencegah overfitting — memberikannya kehidupan kedua dalam pemodelan prediktif, di mana ia tetap menjadi dasar langkah pertama kanonik untuk masalah regresi apa pun.
Kapan digunakan
Gunakan regresi linier ketika hasil bersifat kontinu, hubungan yang diharapkan antara prediktor dan hasil kira-kira linier, dan koefisien yang dapat diinterpretasikan diperlukan. Ini adalah dasar awal yang tepat sebelum mencoba model yang lebih kompleks, dan model akhir yang baik ketika asumsinya berlaku. Jangan gunakan untuk hasil biner atau kategorikal (gunakan regresi logistik sebagai gantinya), ketika pola nonlinier yang kuat atau interaksi mendominasi, atau ketika jumlah prediktor melebihi ukuran sampel tanpa regularisasi.
Batasan dan pertimbangan
- Mengasumsikan hubungan linier; melewatkan kurva, ambang batas, dan interaksi kecuali jika dikodekan secara manual.
- Sensitif terhadap outlier karena pengkuadratan kesalahan memperkuat pengaruh titik ekstrem.
- Multikolinearitas di antara prediktor meningkatkan standar error dan menstabilkan estimasi koefisien.
- Membutuhkan residual untuk didistribusikan secara normal dan homoskedastik untuk inferensi yang valid.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Koefisien dapat diinterpretasikan secara langsung: setiap nilai adalah efek marjinal dalam satuan hasil.
- Secara komputasi trivial — penyesuaian hampir instan bahkan pada kumpulan data besar.
- Menyediakan standar error dan nilai p, mendukung pengujian hipotesis formal.
- Berfungsi sebagai dasar yang sangat diperlukan yang dengannya model yang lebih kompleks harus dibandingkan.
- Bekerja dengan baik dan sepenuhnya dibenarkan ketika asumsi linearitas berlaku.
- Sangat kompatibel dengan ekstensi regularisasi (Ridge, Lasso, Elastic Net) ketika prediktor banyak.
Penerapan
- Memprediksi hasil numerik kontinu dari fitur tabular di domain mana pun.
- Menetapkan dasar kinerja sebelum menguji model gradient-boosting atau neural-network.
- Memperkirakan ukuran efek dan dampak marjinal dalam studi observasional ketika linearitas berlaku.
- Peramalan permintaan, pemodelan harga, dan estimasi sumber daya dalam analitik bisnis.
- Pemodelan eksplorasi cepat untuk mengidentifikasi prediktor yang paling penting sebelum analisis yang lebih kompleks.
- Fungsi penilaian yang dapat diinterpretasikan dalam pengaturan di mana transparansi model disyaratkan secara hukum atau etis.
Cara kerjanya
Cara kerjanya
Model mengekspresikan prediksi sebagai jumlah tertimbang dari fitur masukan ditambah sebuah intersep. Variabel target harus kontinu dan numerik; masukan kategorikal harus dikodekan sebagai variabel dummy atau numerik sebelum penyesuaian (fitting).
Rumus
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_pKuadrat terkecil biasa (Ordinary least squares) menemukan vektor koefisien yang meminimalkan jumlah kuadrat residual. Untuk kumpulan data berukuran sedang, ini diselesaikan secara analitis melalui persamaan normal; untuk kumpulan data yang sangat besar, pelarut iteratif atau penurunan gradien stokastik digunakan sebagai gantinya.
Rumus
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}R-squared (koefisien determinasi) merangkum seberapa banyak varians dalam hasil yang dijelaskan oleh model. Ini dilengkapi dengan akar kuadrat rata-rata kesalahan (root mean squared error) dan rata-rata kesalahan absolut (mean absolute error), yang melaporkan kesalahan dalam unit asli dari hasil.
Rumus
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}Penyesuaian (Fit) dievaluasi pada set uji yang disisihkan atau melalui validasi silang k-lipatan (k-fold cross-validation) untuk mendeteksi overfitting. Plot residual — residual terhadap nilai yang disesuaikan dan plot Q-Q residual — diperiksa untuk memeriksa linearitas, homoskedastisitas, dan normalitas kesalahan sebelum mempercayai inferensi.
Kesalahan umum
- Mengekstrapolasi prediksi jauh di luar jangkauan data pelatihan di mana aproksimasi linier rusak.
- Mengabaikan diagnostik residual dan mengasumsikan model valid tanpa memeriksa plot.
- Memasukkan prediktor yang sangat berkorelasi tanpa mengatasi multikolinearitas (periksa VIF).
- Mencampuradukkan R-squared dengan akurasi prediksi pada data baru — selalu evaluasi pada set yang disisihkan.
- Menerapkan regresi linier ke hasil biner atau hitungan alih-alih regresi logistik atau Poisson.
Pertanyaan yang sering diajukan
Bagaimana regresi linier berbeda dari regresi logistik?
Regresi linier memprediksi hasil kontinu secara langsung. Regresi logistik memodelkan log-odds dari hasil biner dan menghasilkan probabilitas yang dibatasi antara 0 dan 1. Menggunakan regresi linier untuk hasil biner dapat menghasilkan prediksi di luar [0, 1] dan melanggar asumsi varians konstan.
Apakah saya perlu menstandardisasi fitur saya?
Standardisasi tidak diperlukan untuk prediksi, tetapi membuat koefisien dapat dibandingkan secara langsung ketika fitur memiliki skala yang sangat berbeda. Ini sangat direkomendasikan ketika menggunakan varian yang diregularisasi seperti Ridge atau Lasso.
Bagaimana saya menangani banyak prediktor relatif terhadap ukuran sampel?
Beralih ke regresi linier yang diregularisasi (Ridge untuk penyusutan, Lasso untuk sparsity, Elastic Net untuk keduanya). OLS menjadi tidak dapat diandalkan atau tidak terdefinisi ketika jumlah prediktor mendekati atau melebihi jumlah observasi.
Plot residual apa yang harus saya periksa?
Minimal: (1) residual vs. nilai yang disesuaikan untuk memeriksa pola yang menunjukkan nonlinieritas atau heteroskedastisitas, dan (2) plot Q-Q residual untuk menilai normalitas. Plot skala-lokasi dan statistik leverage/pengaruh (jarak Cook) juga informatif.
Apakah R-squared yang tinggi cukup untuk menyatakan model yang baik?
Tidak. R-squared mengukur penyesuaian dalam sampel (in-sample fit) dan dapat dinaikkan oleh prediktor yang tidak relevan. Selalu laporkan RMSE yang divalidasi silang atau set uji bersama dengan R-squared, dan periksa diagnostik residual untuk mengonfirmasi bahwa asumsi model terpenuhi.
Metode terkait
Sumber
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7Disalin.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN: 978-1-4614-7138-7Disalin.