Analisis Regresi Berganda
- Diperkenalkan oleh
- Carl Friedrich Gauss
- Tahun
- 1801
- Jenis
- Method
- Keluarga
- predictive-modeling
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Analisis regresi berganda adalah metode statistik untuk memodelkan hubungan antara variabel dependen kontinu dan dua atau lebih variabel independen (prediktor).
Berasal dari karya Gauss pada awal abad ke-19 dan diformalkan oleh Draper dan Smith (1966), metode ini mengestimasi persamaan linear yang memprediksi hasil dari beberapa prediktor sambil memperhitungkan hubungan yang mengacaukan, menjadikannya sangat diperlukan dalam epidemiologi, ekonomi, psikologi, dan penelitian klinis.
Intuisi di balik metode
Regresi berganda memperluas korelasi bivariat sederhana untuk secara simultan menguji bagaimana beberapa prediktor memengaruhi suatu hasil. Alih-alih mengamati asosiasi mentah, regresi mengisolasi kontribusi unik setiap prediktor sambil menjaga prediktor lain tetap konstan (seperti kontrol eksperimental). Model linear mengasumsikan hasil adalah kombinasi berbobot dari prediktor: Y = b₀ + b₁X₁ + b₂X₂ + ... + bₚXₚ + ε. Koefisien (b) mewakili perubahan pada Y per peningkatan satu unit pada X, disesuaikan dengan prediktor lain. Hal ini memungkinkan peneliti untuk mengidentifikasi prediktor mana yang paling penting, mengontrol variabel pengacau, dan membuat prediksi untuk observasi baru.
Sejarah
Carl Friedrich Gauss mengembangkan metode kuadrat terkecil pada tahun 1801 untuk prediksi astronomi. Karl Pearson dan ahli statistik sebelumnya menerapkan regresi linear pada data biologis (Francis Galton, 1886). Buku teks Applied Regression Analysis karya Norman Draper dan Harry Smith tahun 1966 menstandarkan metodologi regresi berganda. Revolusi komputasi tahun 1980-an-90-an membawa ketersediaan luas dalam perangkat lunak. Perluasan modern mencakup regularisasi (ridge, lasso, elastic net; Tibshirani, 1996), metode robust, dan kerangka kerja inferensi kausal (skor kecenderungan, variabel instrumental).
Kapan digunakan
Gunakan regresi berganda ketika Anda memiliki hasil kontinu dan beberapa prediktor untuk memahami asosiasi mereka sambil menyesuaikan untuk variabel pengacau. Aplikasi umum: memprediksi hasil pasien dari variabel klinis, memahami faktor-faktor yang mendorong indikator ekonomi, mengestimasi efek pengobatan sambil mengontrol demografi, memodelkan pencapaian pendidikan dari karakteristik siswa. Regresi juga ideal ketika ukuran sampel mencegah randomisasi eksperimental (studi observasional). Untuk hasil kategorikal, gunakan regresi logistik atau multinomial. Untuk data berklaster (siswa di sekolah), gunakan regresi multilevel. Untuk data yang hilang, pertimbangkan imputasi berganda sebelumnya.
Batasan dan pertimbangan
- Mengasumsikan hubungan linear; melewatkan efek kurvilinear atau ambang batas kecuali dimodelkan secara eksplisit melalui transformasi atau suku polinomial.
- Sensitif terhadap multikolinearitas: prediktor yang berkorelasi tinggi menghasilkan koefisien yang tidak stabil dan sulit diinterpretasikan. VIF > 10 bermasalah; solusi termasuk menghapus prediktor, komponen utama, atau regresi ridge.
- Outlier dan titik berpengaruh dapat secara tidak proporsional memengaruhi estimasi dan kesesuaian; metode regresi robust (Huber, M-estimator) mengatasi hal ini.
- Mengasumsikan varians konstan (homoskedastisitas); data heteroskedastik memerlukan kuadrat terkecil berbobot atau penyesuaian galat baku yang robust.
- Signifikansi statistik bukanlah kausalitas: tidak dapat membedakan apakah asosiasi mencerminkan efek sebenarnya atau pengacau yang tidak terukur; memerlukan justifikasi teoretis yang kuat.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Kuat untuk membedah hubungan yang kompleks: mengestimasi efek unik setiap prediktor sambil mengontrol prediktor lain, mensimulasikan kontrol eksperimental dalam data observasional.
- Fleksibel: mengakomodasi prediktor kontinu dan kategorikal, interaksi, suku polinomial, dan dapat diperluas ke hubungan non-linear.
- Dapat diinterpretasikan: koefisien secara langsung mewakili perubahan unit pada hasil, membuat hasil dapat ditindaklanjuti oleh klinisi dan pembuat kebijakan.
- Prediksi: model yang disesuaikan menghasilkan prediksi untuk observasi baru dengan interval kepercayaan, memungkinkan aplikasi praktis (stratifikasi risiko, peramalan).
- Diagnostik ekstensif tersedia: residu terstandarisasi, plot leverage, dan ukuran pengaruh membantu mengidentifikasi dan mengatasi pelanggaran model.
Penerapan
- Prediksi klinis: memodelkan risiko rawat inap kembali pasien dari demografi pasien, komorbiditas, dan faktor pengobatan; menginformasikan perencanaan pemulangan dan intervensi.
- Studi epidemiologi: mengestimasi asosiasi penyakit dengan paparan (merokok, diet) sambil menyesuaikan untuk pengacau usia, jenis kelamin, status sosial ekonomi.
- Penelitian pendidikan: memprediksi kelulusan perguruan tinggi dari IPK sekolah menengah, skor tes, dan variabel sosial ekonomi; mengidentifikasi faktor mana yang paling penting.
- Real estat dan ekonomi: memprediksi harga properti dari luas bangunan, lokasi, usia, karakteristik lingkungan; menganalisis tren pasar perumahan.
- Peningkatan kualitas dan manufaktur: memodelkan tingkat kegagalan produk dari parameter proses (suhu, tekanan, bahan) untuk mengoptimalkan operasi.
Cara kerjanya
Cara kerjanya
Lakukan analisis regresi berganda dengan terlebih dahulu mengumpulkan data hasil kontinu dan variabel prediktor kontinu atau kategorikal dari sampel yang cukup besar untuk mengestimasi semua parameter (biasanya n > 10p, di mana p adalah jumlah prediktor; idealnya n > 50 untuk kekuatan yang memadai). Catat semua variabel dengan data hilang minimal (verifikasi bahwa data hilang bersifat acak). Tentukan hasil Anda (variabel dependen) dan prediktor (variabel independen) sebelum analisis untuk menghindari pemilihan model berdasarkan data. Standarisasi prediktor kontinu (kurangi rata-rata, bagi dengan simpangan baku) jika membandingkan koefisien antar skala; ini membantu interpretasi dan mengurangi multikolinearitas. Kode prediktor kategorikal menggunakan pengkodean dummy (k−1 indikator untuk k kategori) atau pengkodean kontras.
Estimasi koefisien regresi menggunakan metode kuadrat terkecil biasa (OLS): minimalkan jumlah kuadrat residu (SSE = Σ(y_i − ŷ_i)²). Perangkat lunak (R, Python, SPSS, SAS) menghitung vektor koefisien b = (X'X)⁻¹X'y. Laporkan: (1) Intersep (b₀): Y prediksi ketika semua X=0. (2) Koefisien kemiringan (b₁, b₂, ...): perubahan pada Y per unit X, disesuaikan dengan prediktor lain. (3) Galat baku (SE) dan statistik t: t = b/SE menguji apakah koefisien berbeda dari nol. (4) Interval kepercayaan (95% CI): biasanya b ± 1.96×SE. (5) R²: proporsi varians Y yang dijelaskan oleh prediktor (0 hingga 1). (6) R² yang disesuaikan: memberikan penalti pada kompleksitas model. (7) Faktor Inflasi Varians (VIF): mendiagnosis multikolinearitas; VIF > 10 menunjukkan korelasi prediktor yang bermasalah. (8) Statistik Durbin-Watson: menguji autokorelasi residu.
Interpretasikan koefisien sebagai: untuk peningkatan satu unit pada prediktor Xᵢ, hasil meningkat sebesar bᵢ unit, dengan menjaga semua prediktor lain konstan. Jika p-value koefisien < 0.05, simpulkan bahwa prediktor tersebut signifikan secara statistik. R² dan R² yang disesuaikan merangkum kesesuaian model secara keseluruhan: laporkan R² yang disesuaikan untuk estimasi yang lebih konservatif. Periksa asumsi dengan memeriksa plot residu: (1) Linearitas: plot sebar antara nilai prediksi dan residu seharusnya tidak menunjukkan pola. (2) Normalitas: plot Q-Q dari residu terstandarisasi seharusnya mengikuti garis diagonal. (3) Homoskedastisitas: residu seharusnya memiliki varians konstan di seluruh nilai yang disesuaikan (uji Breusch-Pagan). (4) Independensi: Durbin-Watson ≈ 2 menunjukkan tidak ada autokorelasi. Kehadiran pola pelanggaran menunjukkan spesifikasi model yang salah; pertimbangkan transformasi (log Y), penambahan interaksi, atau suku polinomial. Gunakan plot diagnostik regresi dan ukuran leverage/pengaruh (jarak Cook, DFFITS) untuk mengidentifikasi outlier yang secara tidak proporsional memengaruhi estimasi.
Kesalahan umum
- Pemilihan model berdasarkan data (seleksi stepwise, maju, mundur): memanfaatkan kebetulan, meningkatkan kesalahan Tipe I, menghasilkan koefisien yang tidak stabil. Lebih memilih spesifikasi model berdasarkan teori.
- Mengabaikan multikolinearitas: memeriksa matriks korelasi tidak cukup; hitung VIF untuk setiap prediktor. VIF > 5–10 memerlukan tindakan.
- Overfitting: menambahkan terlalu banyak prediktor mengurangi generalisasi dan meningkatkan R². Gunakan R² yang disesuaikan atau validasi silang untuk menilai kekuatan prediksi yang sebenarnya.
- Menginterpretasikan koefisien regresi secara kausal tanpa randomisasi: pengacauan, kausalitas terbalik, dan bias seleksi mengancam validitas.
- Gagal memeriksa asumsi residu: residu non-normal, heteroskedastisitas, dan autokorelasi meningkatkan galat baku atau bias estimasi.
- Menggunakan galat baku yang tidak disesuaikan dengan data berklaster (misalnya, pasien yang bersarang di rumah sakit) menghasilkan interval kepercayaan yang terlalu sempit; memerlukan estimator multilevel atau sandwich.
Pertanyaan yang sering diajukan
Kapan saya harus menstandarisasi prediktor, dan bagaimana pengaruhnya terhadap interpretasi?
Standarisasi prediktor kontinu (skor-z: kurangi rata-rata, bagi dengan simpangan baku) ketika: (1) prediktor berada pada skala yang sangat berbeda dan Anda ingin membandingkan besarnya koefisien, atau (2) Anda perlu mengurangi multikolinearitas. Koefisien terstandarisasi dalam satuan simpangan baku: koefisien 0,5 berarti peningkatan 1-SD pada prediktor memprediksi peningkatan 0,5-SD pada hasil. Koefisien mentah (tidak terstandarisasi) mempertahankan unit asli dan sering kali membantu interpretasi praktis. Selalu laporkan keduanya dan tentukan mana yang Anda laporkan.
Apa perbedaan antara R² dan R² yang disesuaikan?
R² = 1 − (SSE/SS_total) mewakili proporsi varians hasil yang dijelaskan oleh model. R² selalu meningkat ketika prediktor ditambahkan, bahkan jika mereka tidak memiliki efek nyata. R² yang disesuaikan = 1 − [(1 − R²)(n − 1)/(n − p − 1)] memberikan penalti pada kompleksitas model berdasarkan derajat kebebasan yang hilang (p adalah jumlah prediktor, n adalah ukuran sampel). Untuk pemilihan model dan penilaian kekuatan prediksi yang sebenarnya, gunakan R² yang disesuaikan; R² yang disesuaikan menurun jika prediktor baru menambahkan informasi lebih sedikit daripada biayanya (satu parameter). Laporkan keduanya.
Bagaimana cara menginterpretasikan koefisien yang tidak signifikan ketika variabel lain ada dalam model?
Koefisien yang tidak signifikan (p > 0,05) menunjukkan bukti yang tidak cukup bahwa prediktor ini terkait dengan hasil, dengan menjaga variabel lain tetap konstan. Hal ini bisa berarti prediktor tidak memiliki efek, dikacaukan oleh prediktor lain (multikolinearitas), atau ukuran sampel terlalu kecil. Periksa interval kepercayaan dan VIF. Jika interval kepercayaan lebar dan VIF tinggi, kemungkinan besar terjadi multikolinearitas. Jika prediktor penting secara teoretis, pertimbangkan untuk melaporkannya dengan CI 90% sebagai analisis sensitivitas. Jangan menghapus prediktor hanya berdasarkan nilai p; gunakan pengetahuan domain.
Apa yang harus saya lakukan jika residu tidak terdistribusi normal?
Ketidaknormalan ringan sering kali dapat diterima karena ketahanan regresi dengan sampel besar; normalitas residu menjadi kritis dengan n < 30. Periksa plot Q-Q secara visual dan lakukan uji Shapiro-Wilk. Jika tidak normal, pertimbangkan: (1) transformasi log atau akar kuadrat dari hasil, (2) penambahan prediktor atau interaksi yang dihilangkan, (3) pemasangan regresi robust (Huber, bisquare), atau (4) penggunaan interval kepercayaan bootstrap. Outlier ekstrem harus diselidiki; hapus jika karena kesalahan entri data, jika tidak laporkan hasil dengan dan tanpa outlier.
Metode terkait
Sumber
Draper, N. R., & Smith, H. (1966). Applied Regression Analysis. John Wiley & Sons.
Buka referensi publikasiDisalin.Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (1992). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.
Buka referensi publikasiDisalin.Marquardt, D. W. (1980). You should standardize the independent variables in your regression models. Discussion of a paper by G. David Knottnerus. Journal of the American Statistical Association, 75(369), 87–91.
Buka referensi publikasiDisalin.