การถดถอยเชิงเส้น (Linear Regression) (ML)
- ผู้เสนอ
- Legendre, A.-M. & Gauss, C.F.
- ปี
- 1805–1809
- ประเภท
- Supervised regression
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การถดถอยเชิงเส้น (Linear regression) จะปรับความสัมพันธ์แบบเส้นตรงระหว่างคุณลักษณะนำเข้า (input features) หนึ่งอย่างหรือมากกว่า กับผลลัพธ์เชิงตัวเลขแบบต่อเนื่อง โดยลดผลรวมของกำลังสองของข้อผิดพลาดในการทำนายให้เหลือน้อยที่สุด ในฐานะที่เป็นแบบจำลองการเรียนรู้ของเครื่อง (machine-learning model) จะถูกฝึกด้วยตัวอย่างที่มีป้ายกำกับ (labeled examples) และประเมินด้วยข้อมูลที่กันไว้ (held-out data) ทำให้เป็นพื้นฐานการเรียนรู้แบบมีผู้สอน (supervised learning) ที่ง่ายที่สุดสำหรับงานการถดถอยใด ๆ
แนวคิดเบื้องหลังวิธีการ
ลองจินตนาการถึงการลากเส้นที่เหมาะสมที่สุดผ่านแผนภาพการกระจายของจุดข้อมูล การถดถอยเชิงเส้นทำเช่นนี้ได้อย่างแม่นยำสำหรับตัวทำนายหลายตัวพร้อมกัน: โดยจะหาการรวมกันของน้ำหนักคุณลักษณะที่ลดระยะทางกำลังสองรวมระหว่างการทำนายของเส้นกับค่าจริงให้เหลือน้อยที่สุด เนื่องจากความสัมพันธ์ถูกแสดงในรูปผลรวมถ่วงน้ำหนักอย่างง่ายของข้อมูลนำเข้า สัมประสิทธิ์แต่ละตัวจะบอกโดยตรงว่าผลลัพธ์ที่ทำนายมีการเปลี่ยนแปลงไปเท่าใดเมื่อคุณลักษณะนั้นเพิ่มขึ้นหนึ่งหน่วย โดยที่สิ่งอื่น ๆ คงที่ ความโปร่งใสนี้ทำให้การถดถอยเชิงเส้นอธิบายและตรวจสอบได้ง่ายเป็นพิเศษ แม้ว่ามันจะเกิดภาวะอันเดอร์ฟิต (underfit) เมื่อใดก็ตามที่ความสัมพันธ์ที่แท้จริงเป็นเส้นโค้งหรือเกี่ยวข้องกับปฏิสัมพันธ์
ประวัติศาสตร์
วิธีกำลังสองน้อยที่สุดได้รับการตีพิมพ์โดยอิสระโดย Legendre ในปี 1805 และ Gauss ประมาณปี 1809 ในช่วงกลางศตวรรษที่ยี่สิบ การถดถอยเชิงเส้นได้กลายเป็นเทคนิคพื้นฐานของสถิติประยุกต์ การปรับกรอบใหม่ให้เป็นแบบจำลองการเรียนรู้ของเครื่อง — ฝึกด้วยตัวอย่าง ประเมินด้วยข้อมูลที่กันไว้ และทำให้เป็นมาตรฐานเพื่อป้องกันภาวะโอเวอร์ฟิต — ทำให้มันมีชีวิตที่สองในการสร้างแบบจำลองเชิงทำนาย ซึ่งยังคงเป็นพื้นฐานขั้นตอนแรกที่เป็นแบบแผนสำหรับปัญหาการถดถอยใด ๆ
ควรใช้เมื่อใด
ใช้การถดถอยเชิงเส้นเมื่อผลลัพธ์เป็นแบบต่อเนื่อง ความสัมพันธ์ที่คาดหวังระหว่างตัวทำนายและผลลัพธ์เป็นเชิงเส้นโดยประมาณ และต้องการสัมประสิทธิ์ที่ตีความได้ เป็นพื้นฐานเริ่มต้นที่เหมาะสมก่อนที่จะลองใช้แบบจำลองที่ซับซ้อนมากขึ้น และเป็นแบบจำลองสุดท้ายที่ดีเมื่อสมมติฐานของมันเป็นจริง อย่าใช้สำหรับการทำนายผลลัพธ์แบบไบนารีหรือเชิงหมวดหมู่ (ให้ใช้การถดถอยโลจิสติกส์แทน) เมื่อรูปแบบที่ไม่เป็นเชิงเส้นที่แข็งแกร่งหรือปฏิสัมพันธ์มีอิทธิพล หรือเมื่อจำนวนตัวทำนายเกินขนาดตัวอย่างโดยไม่มีการทำให้เป็นมาตรฐาน (regularisation)
ข้อจำกัดและข้อควรพิจารณา
- สมมติความสัมพันธ์เชิงเส้น; พลาดเส้นโค้ง เกณฑ์ และปฏิสัมพันธ์ เว้นแต่จะถูกเข้ารหัสด้วยตนเอง
- อ่อนไหวต่อค่าผิดปกติ (outliers) เนื่องจากกำลังสองของข้อผิดพลาดจะขยายอิทธิพลของจุดสุดขีด
- ภาวะหลายแนวร่วม (Multicollinearity) ในหมู่ตัวทำนายจะเพิ่มความคลาดเคลื่อนมาตรฐานและทำให้การประมาณค่าสัมประสิทธิ์ไม่เสถียร
- ต้องการให้ส่วนเหลือมีการแจกแจงปกติโดยประมาณและมีความแปรปรวนคงที่สำหรับการอนุมานที่ถูกต้อง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- สัมประสิทธิ์สามารถตีความได้โดยตรง: แต่ละค่าคือผลกระทบส่วนเพิ่มในหน่วยของผลลัพธ์
- คำนวณได้ง่ายมาก — ปรับแบบจำลองได้เกือบจะทันทีแม้ในชุดข้อมูลขนาดใหญ่
- ให้ค่าความคลาดเคลื่อนมาตรฐานและค่า p-value ซึ่งสนับสนุนการทดสอบสมมติฐานอย่างเป็นทางการ
- ทำหน้าที่เป็นพื้นฐานที่ขาดไม่ได้ซึ่งแบบจำลองที่ซับซ้อนกว่าควรนำมาเปรียบเทียบ
- ทำงานได้ดีและสมเหตุสมผลอย่างเต็มที่เมื่อสมมติฐานความเป็นเชิงเส้นเป็นจริง
- เข้ากันได้ดีกับการขยายการทำให้เป็นมาตรฐาน (Regularisation extensions) (Ridge, Lasso, Elastic Net) เมื่อมีตัวทำนายจำนวนมาก
การประยุกต์ใช้
- การทำนายผลลัพธ์เชิงตัวเลขแบบต่อเนื่องจากคุณลักษณะแบบตารางในโดเมนใด ๆ
- การสร้างพื้นฐานประสิทธิภาพก่อนการทดสอบแบบจำลองการเพิ่มความชัน (gradient-boosting) หรือโครงข่ายประสาทเทียม (neural-network models)
- การประมาณขนาดผลกระทบและผลกระทบส่วนเพิ่มในการศึกษาเชิงสังเกตเมื่อความเป็นเชิงเส้นเป็นจริง
- การพยากรณ์ความต้องการ การสร้างแบบจำลองราคา และการประมาณทรัพยากรในการวิเคราะห์ธุรกิจ
- การสร้างแบบจำลองเชิงสำรวจอย่างรวดเร็วเพื่อระบุตัวทำนายที่สำคัญที่สุดก่อนการวิเคราะห์ที่ซับซ้อนมากขึ้น
- ฟังก์ชันการให้คะแนนที่ตีความได้ในสถานการณ์ที่ความโปร่งใสของแบบจำลองเป็นสิ่งจำเป็นตามกฎหมายหรือจริยธรรม
วิธีการทำงาน
วิธีการทำงาน
แบบจำลองแสดงการทำนายเป็นผลรวมถ่วงน้ำหนักของคุณลักษณะนำเข้าบวกกับค่าจุดตัดแกน (intercept) ตัวแปรเป้าหมายต้องเป็นแบบต่อเนื่องและเชิงตัวเลข ข้อมูลนำเข้าเชิงหมวดหมู่ต้องถูกเข้ารหัสเป็นตัวแปรหุ่น (dummy variables) หรือตัวแปรเชิงตัวเลขก่อนทำการปรับแบบจำลอง
สูตร
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_pวิธีกำลังสองน้อยที่สุดสามัญ (Ordinary least squares) จะหาสัมประสิทธิ์เวกเตอร์ที่ลดผลรวมกำลังสองของส่วนเหลือ (residual sum of squares) ให้เหลือน้อยที่สุด สำหรับชุดข้อมูลขนาดปานกลาง สิ่งนี้จะถูกแก้ปัญหาเชิงวิเคราะห์ผ่านสมการปกติ (normal equations) สำหรับชุดข้อมูลขนาดใหญ่มาก จะใช้วิธีการวนซ้ำ (iterative solvers) หรือการไล่ระดับความชันแบบสุ่ม (stochastic gradient descent) แทน
สูตร
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}R-squared (สัมประสิทธิ์การตัดสินใจ) สรุปว่าแบบจำลองสามารถอธิบายความแปรปรวนในผลลัพธ์ได้มากน้อยเพียงใด ซึ่งเสริมด้วยค่ารากที่สองของความคลาดเคลื่อนกำลังสองเฉลี่ย (root mean squared error) และค่าความคลาดเคลื่อนสัมบูรณ์เฉลี่ย (mean absolute error) ซึ่งรายงานข้อผิดพลาดในหน่วยดั้งเดิมของผลลัพธ์
สูตร
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}การปรับแบบจำลองจะถูกประเมินบนชุดข้อมูลทดสอบที่กันไว้ (hold-out test set) หรือผ่านการตรวจสอบความถูกต้องไขว้แบบ k-fold (k-fold cross-validation) เพื่อตรวจจับภาวะโอเวอร์ฟิต (overfitting) แผนภาพส่วนเหลือ (Residual plots) — ส่วนเหลือเทียบกับค่าที่ปรับแล้ว และแผนภาพ Q-Q ของส่วนเหลือ — จะถูกตรวจสอบเพื่อตรวจสอบความเป็นเชิงเส้น ความแปรปรวนคงที่ (homoscedasticity) และการแจกแจงปกติของข้อผิดพลาดก่อนที่จะเชื่อถือการอนุมาน
ข้อผิดพลาดที่พบบ่อย
- การคาดการณ์แบบนอกช่วง (Extrapolating predictions) ที่ห่างไกลจากช่วงของข้อมูลการฝึกอบรม ซึ่งการประมาณค่าเชิงเส้นจะใช้ไม่ได้
- การละเลยการวินิจฉัยส่วนเหลือและสมมติว่าแบบจำลองถูกต้องโดยไม่ตรวจสอบแผนภาพ
- การรวมตัวทำนายที่มีความสัมพันธ์กันสูงโดยไม่จัดการกับภาวะหลายแนวร่วม (ตรวจสอบ VIF)
- การสับสนระหว่าง R-squared กับความแม่นยำในการทำนายบนข้อมูลใหม่ — ควรประเมินบนชุดข้อมูลที่กันไว้เสมอ
- การใช้การถดถอยเชิงเส้นกับผลลัพธ์แบบไบนารีหรือการนับ แทนที่จะเป็นการถดถอยโลจิสติกส์หรือปัวซง
คำถามที่พบบ่อย
การถดถอยเชิงเส้นแตกต่างจากการถดถอยโลจิสติกส์อย่างไร
การถดถอยเชิงเส้นทำนายผลลัพธ์ต่อเนื่องโดยตรง การถดถอยโลจิสติกส์สร้างแบบจำลอง log-odds ของผลลัพธ์ไบนารีและให้ผลลัพธ์เป็นความน่าจะเป็นที่อยู่ระหว่าง 0 ถึง 1 การใช้การถดถอยเชิงเส้นสำหรับผลลัพธ์ไบนารีอาจทำให้เกิดการทำนายที่อยู่นอกช่วง [0, 1] และละเมิดสมมติฐานความแปรปรวนคงที่
ฉันจำเป็นต้องทำให้คุณลักษณะของฉันเป็นมาตรฐานหรือไม่
การทำให้เป็นมาตรฐานไม่จำเป็นสำหรับการทำนาย แต่ทำให้สัมประสิทธิ์สามารถเปรียบเทียบกันได้โดยตรงเมื่อคุณลักษณะมีมาตราส่วนที่แตกต่างกันมาก ขอแนะนำเป็นพิเศษเมื่อใช้รูปแบบที่ทำให้เป็นมาตรฐาน เช่น Ridge หรือ Lasso
ฉันจะจัดการกับตัวทำนายจำนวนมากเทียบกับขนาดตัวอย่างได้อย่างไร
เปลี่ยนไปใช้การถดถอยเชิงเส้นแบบทำให้เป็นมาตรฐาน (Ridge สำหรับการหดตัว, Lasso สำหรับความเบาบาง, Elastic Net สำหรับทั้งสองอย่าง) OLS จะไม่น่าเชื่อถือหรือไม่สามารถกำหนดได้เมื่อจำนวนตัวทำนายเข้าใกล้หรือเกินจำนวนการสังเกต
ฉันควรตรวจสอบแผนภาพส่วนเหลือใดบ้าง
อย่างน้อยที่สุด: (1) ส่วนเหลือเทียบกับค่าที่ปรับแล้วเพื่อตรวจสอบรูปแบบที่บ่งชี้ถึงความไม่เป็นเชิงเส้นหรือความแปรปรวนไม่คงที่ และ (2) แผนภาพ Q-Q ของส่วนเหลือเพื่อประเมินความเป็นปกติ แผนภาพมาตราส่วน-ตำแหน่ง (scale-location plot) และสถิติอิทธิพล/คานงัด (leverage/influence statistics) (Cook's distance) ก็ให้ข้อมูลเช่นกัน
R-squared ที่สูงเพียงพอที่จะประกาศว่าเป็นแบบจำลองที่ดีหรือไม่
ไม่ R-squared วัดความเหมาะสมในตัวอย่างและสามารถเพิ่มขึ้นได้ด้วยตัวทำนายที่ไม่เกี่ยวข้อง ควรรายงาน RMSE ที่ตรวจสอบความถูกต้องไขว้หรือชุดทดสอบควบคู่ไปกับ R-squared เสมอ และตรวจสอบการวินิจฉัยส่วนเหลือเพื่อยืนยันว่าสมมติฐานของแบบจำลองเป็นไปตามที่กำหนด
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7คัดลอกแล้วJames, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN: 978-1-4614-7138-7คัดลอกแล้ว