การถดถอยเชิงเส้นแบบปรับค่า (Regularized Linear Regression)
- ผู้เสนอ
- Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
- ปี
- 1970–2005
- ประเภท
- Penalized linear model
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การถดถอยเชิงเส้นแบบปรับค่า (Regularized linear regression) เพิ่มพจน์การลงโทษ (penalty term) เข้าไปในฟังก์ชันวัตถุประสงค์ของวิธีกำลังสองน้อยที่สุด (ordinary least-squares objective) เพื่อลดขนาดหรือทำให้สัมประสิทธิ์เป็นศูนย์ (shrinking or zeroing out coefficients) อันเป็นการลดการเรียนรู้เกิน (overfitting) และจัดการกับปัญหาความสัมพันธ์เชิงเส้นพหุ (multicollinearity) รูปแบบหลักสามรูปแบบ ได้แก่ Ridge (การลงโทษแบบ L2), Lasso (การลงโทษแบบ L1) และ Elastic Net (การรวมกันของ L1+L2) ทำให้การถดถอยเชิงเส้นสามารถใช้งานได้ แม้ในกรณีที่จำนวนตัวแปรทำนาย (features) มีมากกว่าจำนวนการสังเกต (observations) หรือตัวแปรทำนายมีความสัมพันธ์กันสูง
แนวคิดเบื้องหลังวิธีการ
วิธีกำลังสองน้อยที่สุด (Ordinary least squares) กำหนดให้ตัวแปรทำนายแต่ละตัวมีสัมประสิทธิ์ที่ทำให้เกิดข้อผิดพลาดในกลุ่มตัวอย่าง (in-sample error) น้อยที่สุด ซึ่งอาจส่งผลให้ได้สัมประสิทธิ์ที่มีค่าสูงมาก ไม่เสถียร เมื่อตัวแปรทำนายมีความสัมพันธ์กัน หรือเมื่อชุดข้อมูลมีตัวแปรทำนายจำนวนมาก การปรับค่า (Regularization) จะดึงสัมประสิทธิ์เหล่านั้นเข้าใกล้ศูนย์ — อย่างมั่นคงแต่ยุติธรรม — เพื่อให้แบบจำลองสูญเสียความแม่นยำในการฝึกสอนไปเล็กน้อย แลกกับการสรุปผลที่ดีขึ้นอย่างมาก Ridge จะลดขนาดสัมประสิทธิ์ทั้งหมดตามสัดส่วน ในขณะที่ Lasso จะก้าวไปอีกขั้นและสามารถทำให้สัมประสิทธิ์บางตัวเป็นศูนย์ได้อย่างแม่นยำ ซึ่งเป็นการเลือกตัวแปรทำนายโดยอัตโนมัติ ส่วน Elastic Net เป็นการผสมผสานทั้งสองกลยุทธ์ และทำงานได้ดีเมื่อตัวแปรทำนายที่มีความสัมพันธ์กันจำเป็นต้องถูกเก็บไว้ด้วยกัน
ประวัติศาสตร์
การถดถอย Ridge ถูกนำเสนอโดย Hoerl และ Kennard ในปี 1970 เพื่อแก้ไขปัญหาความสัมพันธ์เชิงเส้นพหุในการถดถอยกำลังสองน้อยที่สุด เอกสารเกี่ยวกับ Lasso ของ Tibshirani ในปี 1996 ได้เพิ่มการลงโทษแบบ L1 และความสามารถในการลดขนาดสัมประสิทธิ์ให้เป็นศูนย์อย่างแม่นยำ ทำให้สามารถเลือกตัวแปรทำนายได้โดยอัตโนมัติ Zou และ Hastie ได้ขยายแนวคิดเหล่านี้ในปี 2005 ด้วย Elastic Net ซึ่งเป็นการรวมการลงโทษแบบ L1 และ L2 เพื่อจัดการกับกลุ่มของตัวแปรทำนายที่มีความสัมพันธ์กัน วิธีการทั้งสามนี้ประกอบกันเป็นชุดเครื่องมือปรับค่ามาตรฐาน (canonical regularization toolkit) สำหรับแบบจำลองเชิงเส้น และเป็นหัวใจหลักของตำรา Elements of Statistical Learning และ An Introduction to Statistical Learning
ควรใช้เมื่อใด
ควรใช้การถดถอยเชิงเส้นแบบปรับค่าเมื่อต้องการทำนายผลลัพธ์ที่เป็นค่าต่อเนื่องจากตัวแปรทำนายเชิงตัวเลขจำนวนมาก และสงสัยว่ามีปัญหาความสัมพันธ์เชิงเส้นพหุอยู่บ้าง หรือเมื่อจำนวนตัวแปรทำนายมีขนาดใหญ่เมื่อเทียบกับขนาดตัวอย่าง Ridge เป็นตัวเลือกเริ่มต้นเมื่อเชื่อว่าตัวแปรทำนายทั้งหมดมีความเกี่ยวข้องอย่างสมเหตุสมผล ส่วน Lasso หรือ Elastic Net เมื่อต้องการการเลือกตัวแปรทำนายโดยอัตโนมัติ ควรเลือกใช้การถดถอยเชิงเส้นแบบธรรมดา (ไม่ลงโทษ) เฉพาะเมื่อมีตัวแปรทำนายจำนวนน้อย ไม่มีความสัมพันธ์กัน และมีขนาดตัวอย่างใหญ่เท่านั้น ไม่ควรใช้รูปแบบเชิงเส้นใดๆ เมื่อผลลัพธ์มีความสัมพันธ์แบบไม่เป็นเชิงเส้นอย่างชัดเจน หรือเมื่อผลลัพธ์เป็นแบบทวิภาค (binary) หรือประเภท (categorical) — ควรใช้การถดถอยโลจิสติก (logistic regression) หรือแบบจำลองแบบต้นไม้ (tree-based methods) แทน
ข้อจำกัดและข้อควรพิจารณา
- สมมติฐานว่ามีความสัมพันธ์เชิงเส้นระหว่างตัวแปรทำนายและตัวแปรเป้าหมายที่เป็นค่าต่อเนื่อง ไม่สามารถจับรูปแบบที่ไม่เป็นเชิงเส้นได้ เว้นแต่จะมีการสร้างตัวแปรทำนายขึ้นมาใหม่ด้วยตนเอง (manually engineered)
- การทำให้ตัวแปรทำนายเป็นมาตรฐาน (Feature standardization) เป็นสิ่งจำเป็นก่อนทำการปรับแบบจำลอง การลืมขั้นตอนนี้จะทำให้ค่าประมาณของสัมประสิทธิ์ผิดเพี้ยน
- Lasso ทำงานได้ไม่ดีเมื่อมีตัวแปรทำนายที่มีความสัมพันธ์กันและเกี่ยวข้องจริงจำนวนมาก — มันจะเลือกตัวแปรหนึ่งจากกลุ่มโดยพลการและทิ้งตัวอื่นไป ส่วน Elastic Net เป็นตัวเลือกที่ปลอดภัยกว่าในสถานการณ์นั้น
- Ridge เก็บตัวแปรทำนายทั้งหมดไว้และไม่สร้างแบบจำลองที่เบาบาง (sparse model) ซึ่งอาจทำให้การตีความซับซ้อนขึ้นเมื่อปริภูมิของตัวแปรทำนายมีมิติสูงมาก
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้สัมประสิทธิ์เชิงเส้นที่สามารถตีความได้อย่างสมบูรณ์ พร้อมขนาดและทิศทางของผลกระทบที่ชัดเจน
- จัดการกับปัญหาความสัมพันธ์เชิงเส้นพหุได้อย่างเหมาะสม — Ridge กระจายสัมประสิทธิ์ใหม่ระหว่างตัวแปรทำนายที่มีความสัมพันธ์กัน ส่วน Lasso เลือกตัวแปรหนึ่งจากกลุ่ม
- Lasso และ Elastic Net ทำการเลือกตัวแปรทำนายในตัว (built-in feature selection) โดยการทำให้สัมประสิทธิ์ที่ไม่เกี่ยวข้องเป็นศูนย์อย่างแม่นยำ
- มีประสิทธิภาพในการคำนวณ แม้ในชุดข้อมูลขนาดใหญ่ สามารถปรับขนาดให้รองรับข้อมูลได้หลายล้านรายการด้วยวิธีการแบบไล่ระดับตามพิกัด (coordinate descent)
- การเลือกค่า lambda ด้วยการตรวจสอบไขว้ (Cross-validated lambda selection) ได้รับการสนับสนุนอย่างดีในซอฟต์แวร์ทางสถิติหลักทั้งหมด (scikit-learn, glmnet, statsmodels)
การประยุกต์ใช้
- จีโนมิกส์และชีวสารสนเทศศาสตร์ (Genomics and bioinformatics): การทำนายลักษณะปรากฏ (phenotypes) ที่เป็นค่าต่อเนื่องจากเครื่องหมายทางพันธุกรรมหลายพันรายการ โดยที่ p >> n (จำนวนตัวแปรทำนายมากกว่าจำนวนตัวอย่าง)
- เศรษฐศาสตร์และสังคมศาสตร์ (Economics and social science): การประมาณผลกระทบของตัวแปรนโยบายจำนวนมากต่อผลลัพธ์ที่เป็นค่าต่อเนื่อง พร้อมทั้งควบคุมปัญหาความสัมพันธ์เชิงเส้นพหุ
- วิศวกรรมศาสตร์ (Engineering): การทำนายปริมาณทางกายภาพจากชุดเซ็นเซอร์ที่มีการวัดผลที่มีความสัมพันธ์กัน
- กระบวนการเลือกตัวแปรทำนาย (Feature selection pipeline): ใช้ Lasso หรือ Elastic Net ในขั้นตอนต้นเพื่อระบุชุดตัวแปรทำนายขนาดเล็กก่อนทำการปรับแบบจำลองที่ซับซ้อนขึ้น
- การเงิน (Finance): การพยากรณ์ผลตอบแทนหรือมาตรวัดความเสี่ยงจากปัจจัยเศรษฐกิจมหภาคและปัจจัยตลาดจำนวนมาก
- การดูแลสุขภาพ (Healthcare): การทำนายผลลัพธ์ทางคลินิกที่เป็นค่าต่อเนื่องจากแผงค่าในห้องปฏิบัติการหรือคุณลักษณะที่ได้จากการถ่ายภาพจำนวนมาก
วิธีการทำงาน
วิธีการทำงาน
ก่อนทำการปรับแบบจำลอง (fitting) ตัวแปรทำนายทั้งหมดจะถูกทำให้เป็นมาตรฐาน (standardized) (ค่าเฉลี่ยเป็นศูนย์ ความแปรปรวนเป็นหนึ่ง) ขั้นตอนนี้จำเป็นอย่างยิ่ง เนื่องจากพจน์การลงโทษจะถูกนำไปใช้กับสัมประสิทธิ์ทุกตัวอย่างเท่าเทียมกัน — หากไม่มีการทำให้เป็นมาตรฐาน ตัวแปรที่มีสเกลใหญ่กว่าจะถูกลงโทษหนักกว่า ซึ่งจะบิดเบือนค่าประมาณของสัมประสิทธิ์
ผู้ปฏิบัติงานจะเลือกลักษณะของพจน์การลงโทษ: Ridge ใช้ผลรวมของสัมประสิทธิ์ที่ยกกำลังสอง (norm L2) ซึ่งจะลดขนาดสัมประสิทธิ์ทั้งหมด แต่จะไม่ทำให้สัมประสิทธิ์ใดเป็นศูนย์เลย Lasso ใช้ผลรวมของค่าสัมบูรณ์ (norm L1) ซึ่งสามารถลดขนาดสัมประสิทธิ์บางตัวให้เป็นศูนย์ได้อย่างแม่นยำ ทำให้เกิดการเลือกตัวแปรทำนายโดยอัตโนมัติ Elastic Net เป็นการรวมกันเชิงเส้นของ L1 และ L2 โดยควบคุมด้วยพารามิเตอร์ผสม (mixing parameter) alpha และมีประโยชน์อย่างยิ่งเมื่อตัวแปรทำนายหลายตัวที่มีความสัมพันธ์กันมีความเกี่ยวข้อง
สูตร
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2แบบจำลองจะลดค่าฟังก์ชันวัตถุประสงค์ที่ถูกลงโทษให้ต่ำที่สุด — ซึ่งคือผลรวมของกำลังสองของเศษเหลือ (residual sum of squares) บวกกับพจน์การลงโทษที่เลือก คูณด้วยความเข้มของการปรับค่า (regularization strength) lambda สำหรับ Ridge มีคำตอบแบบปิด (closed-form solution) ส่วน Lasso และ Elastic Net จำเป็นต้องใช้วิธีการปรับแบบไล่ระดับตามพิกัด (coordinate-descent) หรือการหาค่าเหมาะสมที่สุดด้วย subgradient เนื่องจากพจน์การลงโทษ L1 ไม่สามารถหาอนุพันธ์ได้ที่ศูนย์
สูตร
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]ความเข้มของการปรับค่า lambda เป็นไฮเปอร์พารามิเตอร์ (hyperparameter) ที่ต้องปรับแต่งผ่านการตรวจสอบไขว้ (cross-validation) โดยทั่วไปจะทำบนกริดแบบลอการิทึม (logarithmic grid) ค่า lambda ที่เป็นศูนย์จะให้ผลลัพธ์เหมือนกับวิธีกำลังสองน้อยที่สุด ส่วนค่า lambda ที่ใหญ่มากจะบังคับให้สัมประสิทธิ์ทั้งหมดเข้าใกล้ศูนย์ ค่า lambda ที่เหมาะสมที่สุดจะสร้างสมดุลระหว่างความเอนเอียง (bias) และความแปรปรวน (variance) สำหรับชุดข้อมูลเฉพาะ
เมื่อกำหนดค่า lambda และได้ค่าประมาณสัมประสิทธิ์แล้ว การทำนายสำหรับการสังเกตใหม่จะเหมือนกับการถดถอยเชิงเส้นแบบธรรมดา: ผลคูณจุด (dot product) ของตัวแปรทำนายและสัมประสิทธิ์ที่ประมาณค่าได้ แบบจำลองยังคงสามารถตีความได้อย่างสมบูรณ์ในแง่ของผลกระทบเชิงเส้น
สูตร
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}ข้อผิดพลาดที่พบบ่อย
- การปรับแบบจำลองโดยไม่ทำให้ตัวแปรทำนายเป็นมาตรฐาน ทำให้ตัวแปรที่มีสเกลใหญ่กว่าถูกลงโทษมากกว่า และไม่สามารถเปรียบเทียบสัมประสิทธิ์ได้
- การใช้ค่า lambda เริ่มต้นแทนการเลือกด้วยการตรวจสอบไขว้ — ค่า lambda ที่ผิดพลาดจะทำให้เกิดการปรับค่าน้อยเกินไป (ใกล้เคียงกับวิธีกำลังสองน้อยที่สุด) หรือปรับค่ามากเกินไป (สัมประสิทธิ์ยุบตัวเป็นศูนย์)
- การใช้การถดถอยเชิงเส้นแบบปรับค่ากับผลลัพธ์แบบทวิภาคหรือแบบนับ เมื่อควรใช้การถดถอยโลจิสติกหรือการถดถอยปัวซงแทน
- การรายงานผลการเลือกตัวแปรของ Lasso ราวกับว่าเป็นผลการยืนยัน (confirmatory) — การเลือกของ Lasso มีความอ่อนไหวต่อชุดข้อมูลและค่า lambda ดังนั้นควรถือว่าตัวแปรที่เลือกเป็นการสำรวจ (exploratory)
- การละเลยสมมติฐานความเป็นเชิงเส้นและรายงานแบบจำลองแบบปรับค่าที่ปรับได้ไม่ดีโดยไม่ได้ตรวจสอบเศษเหลือ (residuals)
คำถามที่พบบ่อย
เมื่อใดควรเลือก Ridge แทน Lasso?
เลือก Ridge เมื่อคุณเชื่อว่าตัวแปรทำนายส่วนใหญ่มีส่วนช่วยต่อผลลัพธ์ และต้องการค่าประมาณสัมประสิทธิ์ที่เสถียรโดยไม่ต้องทำให้ค่าใดเป็นศูนย์ — ตัวอย่างเช่น เมื่อตัวแปรทำนายมีความสัมพันธ์กันสูงและคุณต้องการเก็บไว้ทั้งหมด เลือก Lasso หรือ Elastic Net เมื่อคุณคาดว่าตัวแปรจำนวนมากไม่เกี่ยวข้องและต้องการการเลือกตัวแปรทำนายโดยอัตโนมัติ
ฉันยังคงได้รับค่า p-value และช่วงความเชื่อมั่นหรือไม่?
ค่า p-value แบบดั้งเดิมและค่าความคลาดเคลื่อนมาตรฐาน (standard errors) ไม่สามารถหาได้โดยตรงจากการถดถอยแบบลงโทษ เนื่องจากค่าประมาณสัมประสิทธิ์มีความเอนเอียงโดยเจตนา มีวิธีการอนุมานหลังการเลือก (post-selection inference methods) (เช่น desparsified Lasso) อยู่ แต่ไม่ค่อยได้ใช้ในทางปฏิบัติ แทนที่จะเป็นเช่นนั้น มักจะรายงานช่วงความเชื่อมั่นแบบ bootstrap หรือมาตรวัดความเสถียรแบบตรวจสอบไขว้
ฉันจะเลือกความเข้มของการปรับค่า lambda ได้อย่างไร?
เลือก lambda ด้วยการตรวจสอบไขว้แบบ k-fold (โดยทั่วไป k = 5 หรือ 10) บนกริดแบบลอการิทึม ไลบรารี เช่น RidgeCV และ LassoCV ของ scikit-learn หรือ glmnet ของ R จะดำเนินการนี้โดยอัตโนมัติ ให้รายงานค่า lambda ที่เลือกและระบุว่าเป็นค่าที่เลือกโดยข้อผิดพลาดการตรวจสอบไขว้ต่ำสุด (minimum cross-validation error) หรือโดยกฎหนึ่งส่วนเบี่ยงเบนมาตรฐาน (one-standard-error rule)
การถดถอยเชิงเส้นแบบปรับค่าจำเป็นต้องมีตัวแปรทำนายที่กระจายตัวแบบปกติหรือไม่?
ไม่ เช่นเดียวกับการถดถอยกำลังสองน้อยที่สุด ข้อสมมติฐานอยู่ที่เศษเหลือ (residuals) (กระจายตัวแบบปกติโดยประมาณ มีความแปรปรวนสม่ำเสมอ (homoscedastic)) ไม่ใช่ที่ตัวแปรทำนาย ตัวแปรทำนายที่มีการกระจายตัวเบ้สูงหรือมีค่าผิดปกติ (outlier-heavy) ยังคงสามารถบิดเบือนค่าประมาณได้ ดังนั้น การแปลงลอการิทึมข้อมูลนำเข้าที่มีการกระจายตัวเบ้จึงเป็นขั้นตอนการประมวลผลล่วงหน้าที่พบบ่อย
Elastic Net คืออะไร และเมื่อใดจึงควรเลือกใช้?
Elastic Net เป็นการรวมกันของการลงโทษแบบ L1 และ L2 โดยควบคุมด้วยพารามิเตอร์ผสม alpha (alpha = 1 คือ Lasso บริสุทธิ์; alpha = 0 คือ Ridge บริสุทธิ์) ควรเลือกใช้เมื่อกลุ่มของตัวแปรทำนายที่มีความสัมพันธ์กันทั้งหมดมีความเกี่ยวข้อง — Lasso จะเลือกตัวแปรหนึ่งจากกลุ่มโดยพลการและทิ้งตัวอื่นไป ในขณะที่ Elastic Net มีแนวโน้มที่จะเก็บกลุ่มนั้นไว้ด้วยกัน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วHastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7คัดลอกแล้ว