Skip to content
กลับไปยังผลการค้นหา

Ridge Regression

ผู้เสนอ
Hoerl, A.E. & Kennard, R.W.
ปี
1970
ประเภท
L2-regularized linear regression

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Ridge Regression เป็นวิธีการถดถอยเชิงเส้นแบบ L2-regularized ที่ Arthur Hoerl และ Robert Kennard นำเสนอในปี 1970 ซึ่งช่วยลดปัญหา multicollinearity โดยการเพิ่มค่าปรับ (penalty) ต่อขนาดของสัมประสิทธิ์ (coefficients) วิธีการนี้จะหดสัมประสิทธิ์เข้าหาศูนย์โดยไม่ทำให้สัมประสิทธิ์ใดเป็นศูนย์อย่างแท้จริง ทำให้ได้ค่าประมาณที่เสถียรมากขึ้นเมื่อตัวแปรทำนายมีความสัมพันธ์กันสูง

แนวคิดเบื้องหลังวิธีการ

เมื่อตัวแปรทำนายมีความสัมพันธ์กันอย่างมาก สัมประสิทธิ์ของวิธีกำลังสองน้อยที่สุด (ordinary least squares) จะไม่เสถียรและอาจเปลี่ยนแปลงอย่างรุนแรงในแต่ละกลุ่มตัวอย่าง Ridge Regression ยอมรับความเอนเอียง (bias) เล็กน้อยเพื่อแลกกับความแปรปรวน (variance) ที่ต่ำลงอย่างมาก โดยการเพิ่มค่าปรับต่อขนาดกำลังสองของสัมประสิทธิ์ วิธีการนี้จะควบคุมการเปลี่ยนแปลงที่รุนแรงเหล่านี้และคงตัวแปรทั้งหมดไว้ในแบบจำลอง เพียงแต่มีน้ำหนักที่เล็กลงและคงที่มากขึ้น

ประวัติศาสตร์

Ridge Regression ถูกนำเสนอโดย Arthur E. Hoerl และ Robert W. Kennard ในปี 1970 เพื่อให้ได้ค่าประมาณที่มีความเอนเอียงแต่เสถียรมากขึ้นสำหรับปัญหาที่ไม่ตั้งฉากกัน (collinear) ซึ่งวิธีกำลังสองน้อยที่สุด (ordinary least squares) ล้มเหลว แนวคิดในการเพิ่มค่าปรับ L2 ได้กลายเป็นเครื่องมือพื้นฐานของการถดถอยแบบ regularized และเป็นต้นแบบโดยตรงสำหรับวิธีการต่อมา เช่น LASSO และ Elastic Net ซึ่งรวมหรือเปรียบเทียบพฤติกรรมการหดตัวของมันกับการเลือกตัวแปรอย่างชัดเจน

ควรใช้เมื่อใด

ใช้ Ridge Regression สำหรับการทำนายด้วยตัวแปรทำนายแบบต่อเนื่อง (continuous), แบบทวิภาค (binary), หรือแบบนับ (count) เมื่อมีปัญหา multicollinearity อยู่ เช่น เมื่อค่า variance inflation factor เกิน 10 และคุณต้องการคงตัวแปรทั้งหมดไว้แทนที่จะเลือกบางตัวออก วิธีการนี้สมมติว่ามีความสัมพันธ์เชิงเส้นโดยประมาณและมีข้อมูลอย่างน้อยประมาณ 30 ตัวอย่าง คุณลักษณะต้องได้รับการปรับมาตรฐานก่อน เมื่อกลุ่มตัวอย่างมีขนาดเล็กและ collinearity ไม่รุนแรง การถดถอยเชิงเส้นธรรมดาจะตีความได้ง่ายกว่า เมื่อเป้าหมายคือการเลือกตัวแปร LASSO หรือ Elastic Net จะเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ไม่มีการเลือกตัวแปร; ไม่สามารถทำให้ตัวแปรที่ไม่เกี่ยวข้องเป็นศูนย์ได้เหมือนที่ LASSO ทำ
  • จำเป็นต้องปรับมาตรฐานคุณลักษณะ มิฉะนั้นค่าปรับจะให้ความสำคัญกับตัวแปรที่มีสเกลใหญ่กว่าอย่างไม่เป็นธรรม
  • สมมติว่ามีความสัมพันธ์เชิงเส้นระหว่างตัวแปรทำนายและผลลัพธ์
  • ในกลุ่มตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 30) การปรับจูน alpha ด้วยการตรวจสอบไขว้ไม่น่าเชื่อถือ และการถดถอยกำลังสองน้อยที่สุด (OLS) แบบธรรมดาอาจเพียงพอ
  • เมื่อ collinearity ไม่ใช่ปัญหาจริง การหดตัวนั้นไม่จำเป็นและลดความสามารถในการตีความ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลด multicollinearity และทำให้ค่าประมาณสัมประสิทธิ์เสถียรขึ้นโดยการเพิ่มค่าปรับ L2
  • คงตัวแปรทำนายทุกตัวไว้ในแบบจำลอง — สัมประสิทธิ์จะหดตัว แต่จะไม่มีตัวใดถูกทำให้เป็นศูนย์
  • ลดความแปรปรวนโดยแลกกับการเพิ่มขึ้นเล็กน้อยและควบคุมได้ของความเอนเอียง ซึ่งมักจะปรับปรุงการทำนาย
  • มีไฮเปอร์พารามิเตอร์ (hyperparameter) เพียงตัวเดียว (alpha) ที่ปรับจูนได้ง่าย ซึ่งเลือกโดยการตรวจสอบไขว้ (cross-validation)
  • ทำงานได้กับตัวแปรทำนายแบบต่อเนื่อง, แบบทวิภาค, และแบบนับ โดยไม่จำเป็นต้องมีข้อมูลที่กระจายแบบปกติ

การประยุกต์ใช้

  • การทำนายด้วยตัวแปรทำนายที่มีความสัมพันธ์กันจำนวนมาก ซึ่ง multicollinearity ทำให้ความแปรปรวนของ OLS สูงขึ้น
  • การทำให้สัมประสิทธิ์การถดถอยเสถียรเมื่อค่า variance inflation factors สูง (VIF สูงกว่า 10)
  • การสร้างแบบจำลองเมื่อควรคงตัวแปรทำนายทั้งหมดไว้ แทนที่จะเลือกบางตัวออก
  • เป็นค่าพื้นฐานแบบ regularized ก่อนที่จะเปรียบเทียบกับ LASSO หรือ Elastic Net

วิธีการทำงาน

วิธีการทำงาน

1

วิธีกำลังสองน้อยที่สุด (ordinary least squares) ปรับสัมประสิทธิ์โดยการลดค่าความคลาดเคลื่อนกำลังสอง (squared error) เพียงอย่างเดียว เมื่อตัวแปรทำนายสองตัวหรือมากกว่านั้นมีความซ้ำซ้อนกัน (multicollinearity) จะทำให้สัมประสิทธิ์ถูกกำหนดได้ไม่ดีและไวต่อสัญญาณรบกวน (noise) มาก Ridge แก้ปัญหานี้โดยการลดทอนสัมประสิทธิ์ที่มีค่ามาก โดยยอมแลกความเอนเอียงเล็กน้อยเพื่อความเสถียรที่มากขึ้น

2

Ridge จะลดค่าผลรวมของความคลาดเคลื่อนกำลังสองตามปกติ บวกกับค่าปรับที่เท่ากับค่าคงที่ปรับจูน (tuning constant) alpha คูณกับผลรวมของสัมประสิทธิ์กำลังสอง ค่าปรับ L2 นี้จะหดสัมประสิทธิ์ทั้งหมดเข้าหาศูนย์ตามสัดส่วนของขนาดของมัน แต่ไม่เหมือนกับ LASSO มันจะไม่บังคับให้สัมประสิทธิ์ใดเป็นศูนย์อย่างแท้จริง ดังนั้นตัวแปรทำนายทุกตัวจะยังคงอยู่ การปรับมาตรฐาน (standardizing) คุณลักษณะ (features) ก่อนจึงเป็นสิ่งจำเป็นเพื่อให้ค่าปรับปฏิบัติต่อตัวแปรทำนายแต่ละตัวอย่างเท่าเทียมกัน

สูตร
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

ความแรงของค่าปรับถูกควบคุมโดย alpha: ค่าที่มากขึ้นจะหดสัมประสิทธิ์มากขึ้น ค่าที่เหมาะสมจะถูกเลือกโดยการตรวจสอบไขว้ (cross-validation) โดยทั่วไปจะสแกนช่วงของ alpha และเลือกค่าที่ทำให้ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยที่ตรวจสอบไขว้แล้ว (cross-validated mean squared error) ต่ำที่สุด

ข้อผิดพลาดที่พบบ่อย

  • การปรับ Ridge บนคุณลักษณะดิบที่ไม่ได้ปรับมาตรฐาน เพื่อให้ค่าปรับบิดเบือนสัมประสิทธิ์
  • การเลือก alpha ด้วยตนเองแทนที่จะเลือกโดยการตรวจสอบไขว้
  • การใช้ Ridge เมื่อไม่มี multicollinearity ที่แท้จริง ทำให้สัมประสิทธิ์หดตัวโดยไม่มีประโยชน์
  • การคาดหวังการเลือกตัวแปร — Ridge คงตัวแปรทั้งหมด ดังนั้นควรใช้ LASSO หรือ Elastic Net หากต้องการความเบาบาง (sparsity)
  • การข้ามการวินิจฉัยค่าคลาดเคลื่อน (residuals) (normality, homoscedasticity) หลังจากการปรับ

คำถามที่พบบ่อย

Ridge แตกต่างจาก LASSO อย่างไร?

ทั้งสองวิธีเพิ่มค่าปรับเพื่อหดสัมประสิทธิ์ แต่ Ridge ใช้ค่าปรับ L2 ที่หดสัมประสิทธิ์เข้าหาศูนย์โดยไม่เคยถึงศูนย์ ดังนั้นตัวแปรทำนายทั้งหมดจึงยังคงอยู่ในแบบจำลอง LASSO ใช้ค่าปรับ L1 ที่สามารถทำให้สัมประสิทธิ์เป็นศูนย์ได้อย่างแท้จริง ซึ่งเป็นการเลือกตัวแปร ให้เลือก Ridge เพื่อทำให้ตัวแปรที่มีความสัมพันธ์กันเสถียร และเลือก LASSO เมื่อคุณต้องการแบบจำลองที่เบาบาง (sparse model)

ฉันจำเป็นต้องปรับมาตรฐานคุณลักษณะของฉันหรือไม่?

ใช่ การปรับมาตรฐานคุณลักษณะเป็นสิ่งจำเป็น เนื่องจากค่าปรับ L2 กระทำต่อขนาดของสัมประสิทธิ์ หากไม่มีการปรับมาตรฐาน ค่าปรับจะหดตัวตัวแปรที่มีสเกลใหญ่กว่าอย่างไม่เป็นธรรม

ฉันจะเลือกความแรงของค่าปรับ alpha ได้อย่างไร?

เลือก alpha โดยการตรวจสอบไขว้ (cross-validation): สแกนค่าต่างๆ และเลือกค่าที่ทำให้ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยที่ตรวจสอบไขว้แล้ว (CV MSE) ต่ำที่สุด การพล็อตเส้นโค้ง CV MSE กับ alpha จะแสดงตำแหน่งที่ค่าที่เหมาะสมที่สุดอยู่

เมื่อใดที่ฉันไม่ควรใช้ Ridge?

หากไม่มี multicollinearity ที่แท้จริง Ridge จะเพิ่มการหดตัวที่ไม่จำเป็น และการถดถอยเชิงเส้นธรรมดาจะตีความได้ง่ายกว่า ด้วยกลุ่มตัวอย่างที่เล็กมาก (n ต่ำกว่าประมาณ 30) การปรับจูน alpha จะไม่น่าเชื่อถือ และหากคุณต้องการลบตัวแปรที่ไม่เกี่ยวข้องออก คุณควรใช้ LASSO หรือ Elastic Net แทน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว