Skip to content
กลับไปยังผลการค้นหา

การวิเคราะห์การถดถอยพหุคูณ

ผู้เสนอ
Carl Friedrich Gauss
ปี
1801
ประเภท
Method
กลุ่มวิธี
predictive-modeling

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การวิเคราะห์การถดถอยพหุคูณ (Multiple Regression Analysis) เป็นวิธีการทางสถิติสำหรับการสร้างแบบจำลองความสัมพันธ์ระหว่างตัวแปรตามแบบต่อเนื่องกับตัวแปรอิสระ (ตัวพยากรณ์) สองตัวขึ้นไป มีต้นกำเนิดจากผลงานของเกาส์ในช่วงต้นศตวรรษที่ 19 และได้รับการจัดระบบโดย Draper and Smith (1966) วิธีนี้ใช้ประมาณค่าสมการเชิงเส้นที่ทำนายผลลัพธ์จากตัวพยากรณ์หลายตัว โดยคำนึงถึงความสัมพันธ์ที่ทำให้เกิดความสับสน ทำให้เป็นเครื่องมือที่ขาดไม่ได้ในระบาดวิทยา เศรษฐศาสตร์ จิตวิทยา และการวิจัยทางคลินิก

แนวคิดเบื้องหลังวิธีการ

การถดถอยพหุคูณเป็นการขยายความสัมพันธ์แบบทวิภาคอย่างง่าย เพื่อตรวจสอบพร้อมกันว่าตัวพยากรณ์หลายตัวมีอิทธิพลต่อผลลัพธ์อย่างไร แทนที่จะสังเกตความสัมพันธ์ดิบ การถดถอยจะแยกส่วนผลกระทบเฉพาะของตัวพยากรณ์แต่ละตัวในขณะที่ควบคุมตัวแปรอื่น ๆ ให้คงที่ (เช่น การควบคุมแบบทดลอง) แบบจำลองเชิงเส้นสมมติว่าผลลัพธ์เป็นการรวมกันแบบถ่วงน้ำหนักของตัวพยากรณ์: Y = b₀ + b₁X₁ + b₂X₂ + ... + bₚXₚ + ε สัมประสิทธิ์ (b) แสดงถึงการเปลี่ยนแปลงใน Y ต่อหน่วยที่เพิ่มขึ้นใน X โดยปรับค่าสำหรับตัวพยากรณ์อื่น ๆ สิ่งนี้ช่วยให้นักวิจัยสามารถระบุได้ว่าตัวพยากรณ์ใดมีความสำคัญที่สุด ควบคุมตัวแปรที่ทำให้เกิดความสับสน และทำการพยากรณ์สำหรับการสังเกตการณ์ใหม่ ๆ

ประวัติศาสตร์

Carl Friedrich Gauss พัฒนาวิธีกำลังสองน้อยที่สุดในปี 1801 สำหรับการพยากรณ์ทางดาราศาสตร์ Karl Pearson และนักสถิติยุคแรก ๆ ได้นำการถดถอยเชิงเส้นมาใช้กับข้อมูลทางชีววิทยา (Francis Galton, 1886) หนังสือ Applied Regression Analysis ของ Norman Draper และ Harry Smith ในปี 1966 ได้กำหนดมาตรฐานระเบียบวิธีของการถดถอยพหุคูณ การปฏิวัติการคำนวณในช่วงทศวรรษ 1980-90 ทำให้มีการใช้งานอย่างแพร่หลายในซอฟต์แวร์ ส่วนขยายที่ทันสมัยรวมถึง regularization (ridge, lasso, elastic net; Tibshirani, 1996), วิธีการที่แข็งแกร่ง, และกรอบการอนุมานเชิงสาเหตุ (propensity scores, instrumental variables)

ควรใช้เมื่อใด

ใช้การถดถอยพหุคูณเมื่อคุณมีตัวแปรตามแบบต่อเนื่องและตัวพยากรณ์หลายตัวเพื่อทำความเข้าใจความสัมพันธ์ของพวกมันในขณะที่ปรับค่าสำหรับตัวแปรแทรกซ้อน การประยุกต์ใช้ทั่วไป: การทำนายผลลัพธ์ของผู้ป่วยจากตัวแปรทางคลินิก การทำความเข้าใจปัจจัยที่ขับเคลื่อนตัวชี้วัดทางเศรษฐกิจ การประมาณผลกระทบของการรักษาในขณะที่ควบคุมข้อมูลประชากร การสร้างแบบจำลองความสำเร็จทางการศึกษาจากลักษณะของนักเรียน การถดถอยยังเหมาะอย่างยิ่งเมื่อขนาดตัวอย่างไม่อนุญาตให้มีการสุ่มแบบทดลอง (การศึกษาเชิงสังเกต) สำหรับตัวแปรตามแบบจัดกลุ่ม ให้ใช้ logistic หรือ multinomial regression สำหรับข้อมูลแบบกลุ่ม (นักเรียนในโรงเรียน) ให้ใช้ multilevel regression สำหรับข้อมูลที่ขาดหายไป ให้พิจารณา multiple imputation ก่อน

ข้อจำกัดและข้อควรพิจารณา

  • สมมติความสัมพันธ์เชิงเส้นตรง; พลาดผลกระทบแบบโค้งหรือแบบเกณฑ์ เว้นแต่จะสร้างแบบจำลองอย่างชัดเจนผ่านการแปลงข้อมูลหรือพจน์พหุนาม
  • อ่อนไหวต่อภาวะพหุสันพันธ์: ตัวพยากรณ์ที่มีความสัมพันธ์กันสูงทำให้เกิดสัมประสิทธิ์ที่ไม่เสถียรและตีความได้ยาก VIF > 10 มีปัญหา; วิธีแก้ปัญหารวมถึงการลบตัวพยากรณ์, principal components, หรือ ridge regression
  • ค่าผิดปกติและจุดที่มีอิทธิพลสามารถส่งผลกระทบต่อการประมาณค่าและความเหมาะสมอย่างไม่สมส่วน; วิธีการถดถอยที่แข็งแกร่ง (Huber, M-estimators) สามารถแก้ไขปัญหานี้ได้
  • สมมติความแปรปรวนคงที่ (homoscedasticity); ข้อมูลที่มีความแปรปรวนไม่คงที่ (heteroscedastic data) ต้องใช้ weighted least squares หรือการปรับค่าความคลาดเคลื่อนมาตรฐานที่แข็งแกร่ง
  • นัยสำคัญทางสถิติไม่ใช่สาเหตุ: ไม่สามารถแยกแยะได้ว่าความสัมพันธ์สะท้อนถึงผลกระทบที่แท้จริงหรือตัวแปรแทรกซ้อนที่ไม่ได้วัด; ต้องมีเหตุผลทางทฤษฎีที่แข็งแกร่ง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • มีประสิทธิภาพในการแยกแยะความสัมพันธ์ที่ซับซ้อน: ประมาณค่าผลกระทบเฉพาะของตัวพยากรณ์แต่ละตัวในขณะที่ควบคุมตัวแปรอื่น ๆ ซึ่งจำลองการควบคุมแบบทดลองในข้อมูลเชิงสังเกต
  • มีความยืดหยุ่น: รองรับตัวพยากรณ์แบบต่อเนื่องและแบบจัดกลุ่ม ปฏิสัมพันธ์ พจน์พหุนาม และสามารถขยายไปสู่ความสัมพันธ์ที่ไม่เป็นเชิงเส้นได้
  • ตีความได้: สัมประสิทธิ์แสดงถึงการเปลี่ยนแปลงหน่วยในผลลัพธ์โดยตรง ทำให้ผลลัพธ์สามารถนำไปใช้ได้จริงสำหรับแพทย์และผู้กำหนดนโยบาย
  • การพยากรณ์: แบบจำลองที่เหมาะสมสร้างการพยากรณ์สำหรับการสังเกตการณ์ใหม่ ๆ พร้อมช่วงความเชื่อมั่น ทำให้สามารถประยุกต์ใช้ได้จริง (การจัดกลุ่มความเสี่ยง การพยากรณ์)
  • มีเครื่องมือวินิจฉัยที่ครอบคลุม: ส่วนเหลือที่ปรับมาตรฐาน แผนภาพ leverage และมาตรวัด influence ช่วยระบุและแก้ไขการละเมิดข้อสมมติฐานของแบบจำลอง

การประยุกต์ใช้

  • การพยากรณ์ทางคลินิก: การสร้างแบบจำลองความเสี่ยงในการกลับเข้ารับการรักษาในโรงพยาบาลจากข้อมูลประชากรของผู้ป่วย โรคร่วม และปัจจัยการรักษา; เพื่อแจ้งการวางแผนการจำหน่ายและการแทรกแซง
  • การศึกษาทางระบาดวิทยา: การประมาณความสัมพันธ์ของโรคกับการสัมผัส (การสูบบุหรี่ อาหาร) ในขณะที่ปรับค่าสำหรับตัวแปรแทรกซ้อนด้านอายุ เพศ สถานะทางเศรษฐกิจและสังคม
  • การวิจัยทางการศึกษา: การทำนายการสำเร็จการศึกษาจากวิทยาลัยจากเกรดเฉลี่ยในโรงเรียนมัธยม คะแนนสอบ และตัวแปรทางเศรษฐกิจและสังคม; การระบุว่าปัจจัยใดมีความสำคัญที่สุด
  • อสังหาริมทรัพย์และเศรษฐศาสตร์: การทำนายราคาอสังหาริมทรัพย์จากพื้นที่ใช้สอย ทำเลที่ตั้ง อายุ ลักษณะของย่าน; การวิเคราะห์แนวโน้มตลาดที่อยู่อาศัย
  • การปรับปรุงคุณภาพและการผลิต: การสร้างแบบจำลองอัตราความล้มเหลวของผลิตภัณฑ์จากพารามิเตอร์กระบวนการ (อุณหภูมิ ความดัน วัสดุ) เพื่อเพิ่มประสิทธิภาพการดำเนินงาน

วิธีการทำงาน

วิธีการทำงาน

1

การใช้การถดถอยพหุคูณทำได้โดยการรวบรวมข้อมูลตัวแปรตามแบบต่อเนื่องและตัวแปรอิสระแบบต่อเนื่องหรือแบบจัดกลุ่มจากกลุ่มตัวอย่างที่มีขนาดใหญ่พอที่จะประมาณค่าพารามิเตอร์ทั้งหมดได้ (โดยทั่วไป n > 10p โดยที่ p คือจำนวนตัวพยากรณ์; โดยเฉพาะอย่างยิ่ง n > 50 เพื่อให้มีกำลังการทดสอบที่เพียงพอ) บันทึกตัวแปรทั้งหมดโดยมีข้อมูลที่ขาดหายไปน้อยที่สุด (ตรวจสอบว่าการขาดหายไปเป็นแบบสุ่ม) กำหนดตัวแปรตามและตัวแปรอิสระก่อนการวิเคราะห์เพื่อหลีกเลี่ยงการเลือกแบบจำลองที่ขับเคลื่อนด้วยข้อมูล ปรับมาตรฐานตัวพยากรณ์แบบต่อเนื่อง (ลบค่าเฉลี่ย หารด้วยค่าเบี่ยงเบนมาตรฐาน) หากต้องการเปรียบเทียบสัมประสิทธิ์ข้ามมาตราส่วน ซึ่งช่วยในการตีความและลดภาวะพหุสันพันธ์ (multicollinearity) เข้ารหัสตัวพยากรณ์แบบจัดกลุ่มโดยใช้ dummy coding (ตัวบ่งชี้ k−1 สำหรับ k หมวดหมู่) หรือ contrast coding

2

ประมาณค่าสัมประสิทธิ์การถดถอยโดยใช้วิธีกำลังสองน้อยที่สุดสามัญ (Ordinary Least Squares หรือ OLS): ลดผลรวมของกำลังสองของส่วนเหลือ (SSE = Σ(y_i − ŷ_i)² ) ซอฟต์แวร์ (R, Python, SPSS, SAS) จะคำนวณเวกเตอร์สัมประสิทธิ์ b = (X'X)⁻¹X'y รายงาน: (1) ค่าคงที่ (b₀): ค่า Y ที่ทำนายเมื่อ X ทั้งหมดเป็น 0 (2) สัมประสิทธิ์ความชัน (b₁, b₂, ...): การเปลี่ยนแปลงใน Y ต่อหน่วย X โดยปรับค่าสำหรับตัวพยากรณ์อื่น ๆ (3) ค่าความคลาดเคลื่อนมาตรฐาน (SE) และค่า t-statistic: t = b/SE ทดสอบว่าสัมประสิทธิ์แตกต่างจากศูนย์หรือไม่ (4) ช่วงความเชื่อมั่น (95% CI): โดยทั่วไป b ± 1.96×SE (5) R²: สัดส่วนของความแปรปรวนของ Y ที่อธิบายได้โดยตัวพยากรณ์ (0 ถึง 1) (6) Adjusted R²: ปรับค่าสำหรับความซับซ้อนของแบบจำลอง (7) Variance Inflation Factor (VIF): วินิจฉัยภาวะพหุสันพันธ์; VIF > 10 บ่งชี้ถึงความสัมพันธ์ของตัวพยากรณ์ที่มีปัญหา (8) Durbin-Watson statistic: ทดสอบภาวะสหสัมพันธ์ในส่วนเหลือ

3

ตีความสัมประสิทธิ์ดังนี้: สำหรับการเพิ่มขึ้นหนึ่งหน่วยในตัวพยากรณ์ X_i ผลลัพธ์จะเพิ่มขึ้น b_i หน่วย โดยควบคุมตัวพยากรณ์อื่น ๆ ให้คงที่ หากค่า p ของสัมประสิทธิ์ < 0.05 สรุปได้ว่าตัวพยากรณ์นั้นมีนัยสำคัญทางสถิติ ค่า R² และ Adjusted R² สรุปความเหมาะสมของแบบจำลองโดยรวม: รายงาน Adjusted R² สำหรับการประมาณค่าที่อนุรักษ์นิยมมากขึ้น ตรวจสอบข้อสมมติฐานโดยการตรวจสอบแผนภาพส่วนเหลือ: (1) ความเป็นเชิงเส้น: แผนภาพการกระจายของค่าที่ทำนายเทียบกับส่วนเหลือไม่ควรแสดงรูปแบบใด ๆ (2) การแจกแจงปกติ: แผนภาพ Q-Q ของส่วนเหลือที่ปรับมาตรฐานควรเป็นไปตามเส้นทแยงมุม (3) ความแปรปรวนคงที่ (Homoscedasticity): ส่วนเหลือควรมีความแปรปรวนคงที่ตลอดค่าที่เหมาะสม (การทดสอบ Breusch-Pagan) (4) ความเป็นอิสระ: Durbin-Watson ≈ 2 บ่งชี้ว่าไม่มีภาวะสหสัมพันธ์ การมีรูปแบบการละเมิดข้อสมมติฐานบ่งชี้ถึงการกำหนดแบบจำลองที่ไม่ถูกต้อง; พิจารณาการแปลงข้อมูล (log Y) การเพิ่มปฏิสัมพันธ์ หรือพจน์พหุนาม ใช้แผนภาพการวินิจฉัยการถดถอยและมาตรวัด leverage/influence (Cook's distance, DFFITS) เพื่อระบุค่าผิดปกติที่ส่งผลกระทบต่อการประมาณค่าอย่างไม่สมส่วน

ข้อผิดพลาดที่พบบ่อย

  • การเลือกแบบจำลองที่ขับเคลื่อนด้วยข้อมูล (stepwise, forward, backward selection): อาศัยโอกาส, เพิ่ม Type I error, สร้างสัมประสิทธิ์ที่ไม่เสถียร ควรเลือกการกำหนดแบบจำลองที่ขับเคลื่อนด้วยทฤษฎี
  • การละเลยภาวะพหุสันพันธ์: การตรวจสอบเมทริกซ์สหสัมพันธ์ไม่เพียงพอ; คำนวณ VIF สำหรับตัวพยากรณ์แต่ละตัว VIF > 5–10 ต้องดำเนินการ
  • การสร้างแบบจำลองที่ซับซ้อนเกินไป (Overfitting): การเพิ่มตัวพยากรณ์มากเกินไปจะลดความสามารถในการสรุปผลและเพิ่ม R² ใช้ Adjusted R² หรือ cross-validation เพื่อประเมินกำลังการพยากรณ์ที่แท้จริง
  • การตีความสัมประสิทธิ์การถดถอยในเชิงสาเหตุโดยไม่มีการสุ่ม: ตัวแปรแทรกซ้อน, สาเหตุย้อนกลับ, และอคติในการเลือกคุกคามความถูกต้อง
  • การไม่ตรวจสอบข้อสมมติฐานของส่วนเหลือ: ส่วนเหลือที่ไม่เป็นปกติ, ความแปรปรวนไม่คงที่, และภาวะสหสัมพันธ์จะเพิ่มค่าความคลาดเคลื่อนมาตรฐานหรือทำให้การประมาณค่ามีอคติ
  • การใช้ค่าความคลาดเคลื่อนมาตรฐานที่ไม่ได้ปรับค่ากับข้อมูลแบบกลุ่ม (เช่น ผู้ป่วยที่อยู่ในโรงพยาบาล) ทำให้ช่วงความเชื่อมั่นแคบเกินไป; ต้องใช้ multilevel หรือ sandwich estimators

คำถามที่พบบ่อย

ฉันควรปรับมาตรฐานตัวพยากรณ์เมื่อใด และส่งผลต่อการตีความอย่างไร?

ปรับมาตรฐานตัวพยากรณ์แบบต่อเนื่อง (z-score: ลบค่าเฉลี่ย หารด้วยค่าเบี่ยงเบนมาตรฐาน) เมื่อ: (1) ตัวพยากรณ์มีมาตราส่วนที่แตกต่างกันมาก และคุณต้องการเปรียบเทียบขนาดของสัมประสิทธิ์ หรือ (2) คุณต้องการลดภาวะพหุสันพันธ์ สัมประสิทธิ์ที่ปรับมาตรฐานจะอยู่ในหน่วยของค่าเบี่ยงเบนมาตรฐาน: สัมประสิทธิ์ 0.5 หมายถึงการเพิ่มขึ้น 1-SD ในตัวพยากรณ์ทำนายการเพิ่มขึ้น 0.5-SD ในผลลัพธ์ สัมประสิทธิ์ดิบ (ที่ไม่ได้ปรับมาตรฐาน) ยังคงหน่วยเดิมและมักช่วยในการตีความเชิงปฏิบัติ ควรรายงานทั้งสองค่าและระบุว่าคุณรายงานค่าใด

R² และ Adjusted R² แตกต่างกันอย่างไร?

R² = 1 − (SSE/SS_total) แสดงถึงสัดส่วนของความแปรปรวนของผลลัพธ์ที่อธิบายได้โดยแบบจำลอง มันจะเพิ่มขึ้นเสมอเมื่อมีการเพิ่มตัวพยากรณ์ แม้ว่าตัวพยากรณ์เหล่านั้นจะไม่มีผลกระทบที่แท้จริงก็ตาม Adjusted R² = 1 − [(1 − R²)(n − 1)/(n − p − 1)] ปรับค่าสำหรับความซับซ้อนของแบบจำลองโดยพิจารณาจากระดับความเป็นอิสระที่สูญเสียไป (p คือจำนวนตัวพยากรณ์, n คือขนาดตัวอย่าง) สำหรับการเลือกแบบจำลองและการประเมินกำลังการพยากรณ์ที่แท้จริง ให้ใช้ Adjusted R²; มันจะลดลงหากตัวพยากรณ์ใหม่เพิ่มข้อมูลน้อยกว่าต้นทุน (หนึ่งพารามิเตอร์) รายงานทั้งสองค่า

ฉันจะตีความสัมประสิทธิ์ที่ไม่มีนัยสำคัญได้อย่างไรเมื่อมีตัวแปรอื่น ๆ อยู่ในแบบจำลอง?

สัมประสิทธิ์ที่ไม่มีนัยสำคัญ (p > 0.05) บ่งชี้ว่ามีหลักฐานไม่เพียงพอที่ตัวพยากรณ์นี้มีความสัมพันธ์กับผลลัพธ์ โดยควบคุมตัวแปรอื่น ๆ ให้คงที่ ซึ่งอาจหมายความว่าตัวพยากรณ์ไม่มีผลกระทบ ถูกรบกวนโดยตัวพยากรณ์อื่น ๆ (ภาวะพหุสันพันธ์) หรือขนาดตัวอย่างเล็กเกินไป ตรวจสอบช่วงความเชื่อมั่นและ VIF หากช่วงความเชื่อมั่นกว้างและ VIF สูง มีแนวโน้มที่จะเกิดภาวะพหุสันพันธ์ หากตัวพยากรณ์มีความสำคัญทางทฤษฎี ให้พิจารณารายงานพร้อมช่วงความเชื่อมั่น 90% เพื่อเป็นการวิเคราะห์ความไว อย่าตัดตัวพยากรณ์ออกโดยอาศัยเพียงค่า p-value; ให้ใช้ความรู้ในสาขา

ฉันควรทำอย่างไรหากส่วนเหลือไม่มีการแจกแจงปกติ?

การไม่เป็นปกติเล็กน้อยมักเป็นที่ยอมรับได้เนื่องจากความแข็งแกร่งของการถดถอยกับกลุ่มตัวอย่างขนาดใหญ่; การเป็นปกติของส่วนเหลือจะมีความสำคัญเมื่อ n < 30 ตรวจสอบแผนภาพ Q-Q ด้วยสายตาและทำการทดสอบ Shapiro-Wilk หากไม่เป็นปกติ ให้พิจารณา: (1) การแปลงข้อมูลแบบ log หรือ square-root ของตัวแปรตาม, (2) การเพิ่มตัวพยากรณ์ที่ถูกละเว้นหรือปฏิสัมพันธ์, (3) การใช้การถดถอยที่แข็งแกร่ง (Huber, bisquare), หรือ (4) การใช้ช่วงความเชื่อมั่นแบบ bootstrap ต้องตรวจสอบค่าผิดปกติที่รุนแรง; ลบออกหากเกิดจากข้อผิดพลาดในการป้อนข้อมูล มิฉะนั้นให้รายงานผลลัพธ์ทั้งแบบมีและไม่มีค่าผิดปกติ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Draper, N. R., & Smith, H. (1966). Applied Regression Analysis. John Wiley & Sons.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (1992). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  3. Marquardt, D. W. (1980). You should standardize the independent variables in your regression models. Discussion of a paper by G. David Knottnerus. Journal of the American Statistical Association, 75(369), 87–91.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว