Skip to content
กลับไปยังผลการค้นหา

การถดถอยเชิงเส้นแบบปรับค่า (Regularized Linear Regression)

ผู้เสนอ
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
ปี
1970–2005
ประเภท
Penalized linear model
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การถดถอยเชิงเส้นแบบปรับค่า (Regularized linear regression) เพิ่มพจน์การลงโทษ (penalty term) เข้าไปในฟังก์ชันวัตถุประสงค์ของวิธีกำลังสองน้อยที่สุด (ordinary least-squares objective) เพื่อลดขนาดหรือทำให้สัมประสิทธิ์เป็นศูนย์ (shrinking or zeroing out coefficients) อันเป็นการลดการเรียนรู้เกิน (overfitting) และจัดการกับปัญหาความสัมพันธ์เชิงเส้นพหุ (multicollinearity) รูปแบบหลักสามรูปแบบ ได้แก่ Ridge (การลงโทษแบบ L2), Lasso (การลงโทษแบบ L1) และ Elastic Net (การรวมกันของ L1+L2) ทำให้การถดถอยเชิงเส้นสามารถใช้งานได้ แม้ในกรณีที่จำนวนตัวแปรทำนาย (features) มีมากกว่าจำนวนการสังเกต (observations) หรือตัวแปรทำนายมีความสัมพันธ์กันสูง

แนวคิดเบื้องหลังวิธีการ

วิธีกำลังสองน้อยที่สุด (Ordinary least squares) กำหนดให้ตัวแปรทำนายแต่ละตัวมีสัมประสิทธิ์ที่ทำให้เกิดข้อผิดพลาดในกลุ่มตัวอย่าง (in-sample error) น้อยที่สุด ซึ่งอาจส่งผลให้ได้สัมประสิทธิ์ที่มีค่าสูงมาก ไม่เสถียร เมื่อตัวแปรทำนายมีความสัมพันธ์กัน หรือเมื่อชุดข้อมูลมีตัวแปรทำนายจำนวนมาก การปรับค่า (Regularization) จะดึงสัมประสิทธิ์เหล่านั้นเข้าใกล้ศูนย์ — อย่างมั่นคงแต่ยุติธรรม — เพื่อให้แบบจำลองสูญเสียความแม่นยำในการฝึกสอนไปเล็กน้อย แลกกับการสรุปผลที่ดีขึ้นอย่างมาก Ridge จะลดขนาดสัมประสิทธิ์ทั้งหมดตามสัดส่วน ในขณะที่ Lasso จะก้าวไปอีกขั้นและสามารถทำให้สัมประสิทธิ์บางตัวเป็นศูนย์ได้อย่างแม่นยำ ซึ่งเป็นการเลือกตัวแปรทำนายโดยอัตโนมัติ ส่วน Elastic Net เป็นการผสมผสานทั้งสองกลยุทธ์ และทำงานได้ดีเมื่อตัวแปรทำนายที่มีความสัมพันธ์กันจำเป็นต้องถูกเก็บไว้ด้วยกัน

ประวัติศาสตร์

การถดถอย Ridge ถูกนำเสนอโดย Hoerl และ Kennard ในปี 1970 เพื่อแก้ไขปัญหาความสัมพันธ์เชิงเส้นพหุในการถดถอยกำลังสองน้อยที่สุด เอกสารเกี่ยวกับ Lasso ของ Tibshirani ในปี 1996 ได้เพิ่มการลงโทษแบบ L1 และความสามารถในการลดขนาดสัมประสิทธิ์ให้เป็นศูนย์อย่างแม่นยำ ทำให้สามารถเลือกตัวแปรทำนายได้โดยอัตโนมัติ Zou และ Hastie ได้ขยายแนวคิดเหล่านี้ในปี 2005 ด้วย Elastic Net ซึ่งเป็นการรวมการลงโทษแบบ L1 และ L2 เพื่อจัดการกับกลุ่มของตัวแปรทำนายที่มีความสัมพันธ์กัน วิธีการทั้งสามนี้ประกอบกันเป็นชุดเครื่องมือปรับค่ามาตรฐาน (canonical regularization toolkit) สำหรับแบบจำลองเชิงเส้น และเป็นหัวใจหลักของตำรา Elements of Statistical Learning และ An Introduction to Statistical Learning

ควรใช้เมื่อใด

ควรใช้การถดถอยเชิงเส้นแบบปรับค่าเมื่อต้องการทำนายผลลัพธ์ที่เป็นค่าต่อเนื่องจากตัวแปรทำนายเชิงตัวเลขจำนวนมาก และสงสัยว่ามีปัญหาความสัมพันธ์เชิงเส้นพหุอยู่บ้าง หรือเมื่อจำนวนตัวแปรทำนายมีขนาดใหญ่เมื่อเทียบกับขนาดตัวอย่าง Ridge เป็นตัวเลือกเริ่มต้นเมื่อเชื่อว่าตัวแปรทำนายทั้งหมดมีความเกี่ยวข้องอย่างสมเหตุสมผล ส่วน Lasso หรือ Elastic Net เมื่อต้องการการเลือกตัวแปรทำนายโดยอัตโนมัติ ควรเลือกใช้การถดถอยเชิงเส้นแบบธรรมดา (ไม่ลงโทษ) เฉพาะเมื่อมีตัวแปรทำนายจำนวนน้อย ไม่มีความสัมพันธ์กัน และมีขนาดตัวอย่างใหญ่เท่านั้น ไม่ควรใช้รูปแบบเชิงเส้นใดๆ เมื่อผลลัพธ์มีความสัมพันธ์แบบไม่เป็นเชิงเส้นอย่างชัดเจน หรือเมื่อผลลัพธ์เป็นแบบทวิภาค (binary) หรือประเภท (categorical) — ควรใช้การถดถอยโลจิสติก (logistic regression) หรือแบบจำลองแบบต้นไม้ (tree-based methods) แทน

ข้อจำกัดและข้อควรพิจารณา

  • สมมติฐานว่ามีความสัมพันธ์เชิงเส้นระหว่างตัวแปรทำนายและตัวแปรเป้าหมายที่เป็นค่าต่อเนื่อง ไม่สามารถจับรูปแบบที่ไม่เป็นเชิงเส้นได้ เว้นแต่จะมีการสร้างตัวแปรทำนายขึ้นมาใหม่ด้วยตนเอง (manually engineered)
  • การทำให้ตัวแปรทำนายเป็นมาตรฐาน (Feature standardization) เป็นสิ่งจำเป็นก่อนทำการปรับแบบจำลอง การลืมขั้นตอนนี้จะทำให้ค่าประมาณของสัมประสิทธิ์ผิดเพี้ยน
  • Lasso ทำงานได้ไม่ดีเมื่อมีตัวแปรทำนายที่มีความสัมพันธ์กันและเกี่ยวข้องจริงจำนวนมาก — มันจะเลือกตัวแปรหนึ่งจากกลุ่มโดยพลการและทิ้งตัวอื่นไป ส่วน Elastic Net เป็นตัวเลือกที่ปลอดภัยกว่าในสถานการณ์นั้น
  • Ridge เก็บตัวแปรทำนายทั้งหมดไว้และไม่สร้างแบบจำลองที่เบาบาง (sparse model) ซึ่งอาจทำให้การตีความซับซ้อนขึ้นเมื่อปริภูมิของตัวแปรทำนายมีมิติสูงมาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้สัมประสิทธิ์เชิงเส้นที่สามารถตีความได้อย่างสมบูรณ์ พร้อมขนาดและทิศทางของผลกระทบที่ชัดเจน
  • จัดการกับปัญหาความสัมพันธ์เชิงเส้นพหุได้อย่างเหมาะสม — Ridge กระจายสัมประสิทธิ์ใหม่ระหว่างตัวแปรทำนายที่มีความสัมพันธ์กัน ส่วน Lasso เลือกตัวแปรหนึ่งจากกลุ่ม
  • Lasso และ Elastic Net ทำการเลือกตัวแปรทำนายในตัว (built-in feature selection) โดยการทำให้สัมประสิทธิ์ที่ไม่เกี่ยวข้องเป็นศูนย์อย่างแม่นยำ
  • มีประสิทธิภาพในการคำนวณ แม้ในชุดข้อมูลขนาดใหญ่ สามารถปรับขนาดให้รองรับข้อมูลได้หลายล้านรายการด้วยวิธีการแบบไล่ระดับตามพิกัด (coordinate descent)
  • การเลือกค่า lambda ด้วยการตรวจสอบไขว้ (Cross-validated lambda selection) ได้รับการสนับสนุนอย่างดีในซอฟต์แวร์ทางสถิติหลักทั้งหมด (scikit-learn, glmnet, statsmodels)

การประยุกต์ใช้

  • จีโนมิกส์และชีวสารสนเทศศาสตร์ (Genomics and bioinformatics): การทำนายลักษณะปรากฏ (phenotypes) ที่เป็นค่าต่อเนื่องจากเครื่องหมายทางพันธุกรรมหลายพันรายการ โดยที่ p >> n (จำนวนตัวแปรทำนายมากกว่าจำนวนตัวอย่าง)
  • เศรษฐศาสตร์และสังคมศาสตร์ (Economics and social science): การประมาณผลกระทบของตัวแปรนโยบายจำนวนมากต่อผลลัพธ์ที่เป็นค่าต่อเนื่อง พร้อมทั้งควบคุมปัญหาความสัมพันธ์เชิงเส้นพหุ
  • วิศวกรรมศาสตร์ (Engineering): การทำนายปริมาณทางกายภาพจากชุดเซ็นเซอร์ที่มีการวัดผลที่มีความสัมพันธ์กัน
  • กระบวนการเลือกตัวแปรทำนาย (Feature selection pipeline): ใช้ Lasso หรือ Elastic Net ในขั้นตอนต้นเพื่อระบุชุดตัวแปรทำนายขนาดเล็กก่อนทำการปรับแบบจำลองที่ซับซ้อนขึ้น
  • การเงิน (Finance): การพยากรณ์ผลตอบแทนหรือมาตรวัดความเสี่ยงจากปัจจัยเศรษฐกิจมหภาคและปัจจัยตลาดจำนวนมาก
  • การดูแลสุขภาพ (Healthcare): การทำนายผลลัพธ์ทางคลินิกที่เป็นค่าต่อเนื่องจากแผงค่าในห้องปฏิบัติการหรือคุณลักษณะที่ได้จากการถ่ายภาพจำนวนมาก

วิธีการทำงาน

วิธีการทำงาน

1

ก่อนทำการปรับแบบจำลอง (fitting) ตัวแปรทำนายทั้งหมดจะถูกทำให้เป็นมาตรฐาน (standardized) (ค่าเฉลี่ยเป็นศูนย์ ความแปรปรวนเป็นหนึ่ง) ขั้นตอนนี้จำเป็นอย่างยิ่ง เนื่องจากพจน์การลงโทษจะถูกนำไปใช้กับสัมประสิทธิ์ทุกตัวอย่างเท่าเทียมกัน — หากไม่มีการทำให้เป็นมาตรฐาน ตัวแปรที่มีสเกลใหญ่กว่าจะถูกลงโทษหนักกว่า ซึ่งจะบิดเบือนค่าประมาณของสัมประสิทธิ์

2

ผู้ปฏิบัติงานจะเลือกลักษณะของพจน์การลงโทษ: Ridge ใช้ผลรวมของสัมประสิทธิ์ที่ยกกำลังสอง (norm L2) ซึ่งจะลดขนาดสัมประสิทธิ์ทั้งหมด แต่จะไม่ทำให้สัมประสิทธิ์ใดเป็นศูนย์เลย Lasso ใช้ผลรวมของค่าสัมบูรณ์ (norm L1) ซึ่งสามารถลดขนาดสัมประสิทธิ์บางตัวให้เป็นศูนย์ได้อย่างแม่นยำ ทำให้เกิดการเลือกตัวแปรทำนายโดยอัตโนมัติ Elastic Net เป็นการรวมกันเชิงเส้นของ L1 และ L2 โดยควบคุมด้วยพารามิเตอร์ผสม (mixing parameter) alpha และมีประโยชน์อย่างยิ่งเมื่อตัวแปรทำนายหลายตัวที่มีความสัมพันธ์กันมีความเกี่ยวข้อง

สูตร
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

แบบจำลองจะลดค่าฟังก์ชันวัตถุประสงค์ที่ถูกลงโทษให้ต่ำที่สุด — ซึ่งคือผลรวมของกำลังสองของเศษเหลือ (residual sum of squares) บวกกับพจน์การลงโทษที่เลือก คูณด้วยความเข้มของการปรับค่า (regularization strength) lambda สำหรับ Ridge มีคำตอบแบบปิด (closed-form solution) ส่วน Lasso และ Elastic Net จำเป็นต้องใช้วิธีการปรับแบบไล่ระดับตามพิกัด (coordinate-descent) หรือการหาค่าเหมาะสมที่สุดด้วย subgradient เนื่องจากพจน์การลงโทษ L1 ไม่สามารถหาอนุพันธ์ได้ที่ศูนย์

สูตร
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

ความเข้มของการปรับค่า lambda เป็นไฮเปอร์พารามิเตอร์ (hyperparameter) ที่ต้องปรับแต่งผ่านการตรวจสอบไขว้ (cross-validation) โดยทั่วไปจะทำบนกริดแบบลอการิทึม (logarithmic grid) ค่า lambda ที่เป็นศูนย์จะให้ผลลัพธ์เหมือนกับวิธีกำลังสองน้อยที่สุด ส่วนค่า lambda ที่ใหญ่มากจะบังคับให้สัมประสิทธิ์ทั้งหมดเข้าใกล้ศูนย์ ค่า lambda ที่เหมาะสมที่สุดจะสร้างสมดุลระหว่างความเอนเอียง (bias) และความแปรปรวน (variance) สำหรับชุดข้อมูลเฉพาะ

5

เมื่อกำหนดค่า lambda และได้ค่าประมาณสัมประสิทธิ์แล้ว การทำนายสำหรับการสังเกตใหม่จะเหมือนกับการถดถอยเชิงเส้นแบบธรรมดา: ผลคูณจุด (dot product) ของตัวแปรทำนายและสัมประสิทธิ์ที่ประมาณค่าได้ แบบจำลองยังคงสามารถตีความได้อย่างสมบูรณ์ในแง่ของผลกระทบเชิงเส้น

สูตร
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

ข้อผิดพลาดที่พบบ่อย

  • การปรับแบบจำลองโดยไม่ทำให้ตัวแปรทำนายเป็นมาตรฐาน ทำให้ตัวแปรที่มีสเกลใหญ่กว่าถูกลงโทษมากกว่า และไม่สามารถเปรียบเทียบสัมประสิทธิ์ได้
  • การใช้ค่า lambda เริ่มต้นแทนการเลือกด้วยการตรวจสอบไขว้ — ค่า lambda ที่ผิดพลาดจะทำให้เกิดการปรับค่าน้อยเกินไป (ใกล้เคียงกับวิธีกำลังสองน้อยที่สุด) หรือปรับค่ามากเกินไป (สัมประสิทธิ์ยุบตัวเป็นศูนย์)
  • การใช้การถดถอยเชิงเส้นแบบปรับค่ากับผลลัพธ์แบบทวิภาคหรือแบบนับ เมื่อควรใช้การถดถอยโลจิสติกหรือการถดถอยปัวซงแทน
  • การรายงานผลการเลือกตัวแปรของ Lasso ราวกับว่าเป็นผลการยืนยัน (confirmatory) — การเลือกของ Lasso มีความอ่อนไหวต่อชุดข้อมูลและค่า lambda ดังนั้นควรถือว่าตัวแปรที่เลือกเป็นการสำรวจ (exploratory)
  • การละเลยสมมติฐานความเป็นเชิงเส้นและรายงานแบบจำลองแบบปรับค่าที่ปรับได้ไม่ดีโดยไม่ได้ตรวจสอบเศษเหลือ (residuals)

คำถามที่พบบ่อย

เมื่อใดควรเลือก Ridge แทน Lasso?

เลือก Ridge เมื่อคุณเชื่อว่าตัวแปรทำนายส่วนใหญ่มีส่วนช่วยต่อผลลัพธ์ และต้องการค่าประมาณสัมประสิทธิ์ที่เสถียรโดยไม่ต้องทำให้ค่าใดเป็นศูนย์ — ตัวอย่างเช่น เมื่อตัวแปรทำนายมีความสัมพันธ์กันสูงและคุณต้องการเก็บไว้ทั้งหมด เลือก Lasso หรือ Elastic Net เมื่อคุณคาดว่าตัวแปรจำนวนมากไม่เกี่ยวข้องและต้องการการเลือกตัวแปรทำนายโดยอัตโนมัติ

ฉันยังคงได้รับค่า p-value และช่วงความเชื่อมั่นหรือไม่?

ค่า p-value แบบดั้งเดิมและค่าความคลาดเคลื่อนมาตรฐาน (standard errors) ไม่สามารถหาได้โดยตรงจากการถดถอยแบบลงโทษ เนื่องจากค่าประมาณสัมประสิทธิ์มีความเอนเอียงโดยเจตนา มีวิธีการอนุมานหลังการเลือก (post-selection inference methods) (เช่น desparsified Lasso) อยู่ แต่ไม่ค่อยได้ใช้ในทางปฏิบัติ แทนที่จะเป็นเช่นนั้น มักจะรายงานช่วงความเชื่อมั่นแบบ bootstrap หรือมาตรวัดความเสถียรแบบตรวจสอบไขว้

ฉันจะเลือกความเข้มของการปรับค่า lambda ได้อย่างไร?

เลือก lambda ด้วยการตรวจสอบไขว้แบบ k-fold (โดยทั่วไป k = 5 หรือ 10) บนกริดแบบลอการิทึม ไลบรารี เช่น RidgeCV และ LassoCV ของ scikit-learn หรือ glmnet ของ R จะดำเนินการนี้โดยอัตโนมัติ ให้รายงานค่า lambda ที่เลือกและระบุว่าเป็นค่าที่เลือกโดยข้อผิดพลาดการตรวจสอบไขว้ต่ำสุด (minimum cross-validation error) หรือโดยกฎหนึ่งส่วนเบี่ยงเบนมาตรฐาน (one-standard-error rule)

การถดถอยเชิงเส้นแบบปรับค่าจำเป็นต้องมีตัวแปรทำนายที่กระจายตัวแบบปกติหรือไม่?

ไม่ เช่นเดียวกับการถดถอยกำลังสองน้อยที่สุด ข้อสมมติฐานอยู่ที่เศษเหลือ (residuals) (กระจายตัวแบบปกติโดยประมาณ มีความแปรปรวนสม่ำเสมอ (homoscedastic)) ไม่ใช่ที่ตัวแปรทำนาย ตัวแปรทำนายที่มีการกระจายตัวเบ้สูงหรือมีค่าผิดปกติ (outlier-heavy) ยังคงสามารถบิดเบือนค่าประมาณได้ ดังนั้น การแปลงลอการิทึมข้อมูลนำเข้าที่มีการกระจายตัวเบ้จึงเป็นขั้นตอนการประมวลผลล่วงหน้าที่พบบ่อย

Elastic Net คืออะไร และเมื่อใดจึงควรเลือกใช้?

Elastic Net เป็นการรวมกันของการลงโทษแบบ L1 และ L2 โดยควบคุมด้วยพารามิเตอร์ผสม alpha (alpha = 1 คือ Lasso บริสุทธิ์; alpha = 0 คือ Ridge บริสุทธิ์) ควรเลือกใช้เมื่อกลุ่มของตัวแปรทำนายที่มีความสัมพันธ์กันทั้งหมดมีความเกี่ยวข้อง — Lasso จะเลือกตัวแปรหนึ่งจากกลุ่มโดยพลการและทิ้งตัวอื่นไป ในขณะที่ Elastic Net มีแนวโน้มที่จะเก็บกลุ่มนั้นไว้ด้วยกัน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    คัดลอกแล้ว