Skip to content
กลับไปยังผลการค้นหา

Lasso Regression

ผู้เสนอ
Tibshirani, R.
ปี
1996
ประเภท
Regularized linear regression (L1 penalty)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Lasso regression ซึ่ง Robert Tibshirani ได้นำเสนอในปี 1996 เป็นวิธีการถดถอยเชิงเส้นที่เพิ่มบทลงโทษ L1 ให้กับการสูญเสีย (loss) เพื่อให้สัมประสิทธิ์หดตัวลงและทำการเลือกตัวแปรไปพร้อมกัน ทำให้เกิดแบบจำลองแบบกระจัดกระจาย (sparse model) ด้วยการทำให้สัมประสิทธิ์บางตัวเป็นศูนย์อย่างแท้จริง จึงคงไว้เฉพาะตัวทำนายที่มีความสำคัญเท่านั้น

แนวคิดเบื้องหลังวิธีการ

วิธีกำลังสองน้อยที่สุดสามัญ (Ordinary least squares) จะปรับตัวทำนายทุกตัวและสามารถกระจายน้ำหนักไปยังตัวแปรที่มีความสัมพันธ์กันหรือไม่มีความเกี่ยวข้องจำนวนมาก ซึ่งจะเพิ่มความแปรปรวนและบดบังว่าคุณลักษณะใดที่ขับเคลื่อนผลลัพธ์ที่แท้จริง Lasso เพิ่มงบประมาณสำหรับขนาดรวมของสัมประสิทธิ์: เมื่องบประมาณนั้นเข้มงวดขึ้น ตัวทำนายที่อ่อนแอจะถูกผลักให้เป็นศูนย์ทั้งหมดและหลุดออกจากแบบจำลอง ผลลัพธ์ที่ได้คือชุดตัวแปรที่เล็กลง มีเสถียรภาพมากขึ้น และตีความได้ง่ายขึ้น

ประวัติศาสตร์

Lasso ถูกนำเสนอโดย Robert Tibshirani ในปี 1996 เพื่อรวมการหดตัวของการถดถอยแบบมีบทลงโทษ (penalised regression) เข้ากับการเลือกตัวแปรอัตโนมัติ โดยใช้บทลงโทษ L1 กับสัมประสิทธิ์ มันกลายเป็นรากฐานสำคัญของสถิติที่มีมิติสูง (high-dimensional statistics) และเป็นแรงบันดาลใจให้เกิดวิธีการที่เกี่ยวข้อง เช่น ridge regression และ elastic net ซึ่งแลกเปลี่ยนหรือรวมบทลงโทษ L1 และ L2 เข้าด้วยกัน

ควรใช้เมื่อใด

เหมาะสมอย่างยิ่งเมื่อคุณต้องการแบบจำลองเชิงเส้นแบบกระจัดกระจายที่ตีความได้สำหรับการทำนายหรือการอธิบายจากตัวทำนายต่อเนื่อง ไบนารี หรือการนับจำนวนมาก และมีจำนวนการสังเกตอย่างน้อยประมาณ 30 รายการ มีประโยชน์อย่างยิ่งเมื่อเกิดภาวะสหสัมพันธ์เชิงเส้นพหุ (multicollinearity) (เช่น VIF สูงกว่า 10) และคุณต้องการให้วิธีนี้เลือกตัวแปรที่จะเก็บไว้เอง โดยสมมติความสัมพันธ์เชิงเส้นโดยประมาณและกำหนดให้คุณลักษณะต้องถูกทำให้เป็นมาตรฐาน หากมีจำนวนการสังเกตน้อยกว่าประมาณ 30 รายการ การเลือกตัวแปรจะไม่มีเสถียรภาพ และ ridge regression จะปลอดภัยกว่า เมื่อจำนวนตัวทำนายเกินขนาดตัวอย่าง elastic net จะเป็นที่นิยมมากกว่า

ข้อจำกัดและข้อควรพิจารณา

  • สมมติความสัมพันธ์เชิงเส้นระหว่างตัวทำนายและผลลัพธ์
  • คุณลักษณะต้องถูกทำให้เป็นมาตรฐานก่อน มิฉะนั้นบทลงโทษจะปฏิบัติต่อตัวแปรที่มีมาตราส่วนต่างกันอย่างไม่ยุติธรรม
  • ในตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 30) ตัวแปรที่เลือกจะไม่มีเสถียรภาพและไม่สามารถทำซ้ำได้
  • เมื่อจำนวนตัวทำนายเกินขนาดตัวอย่าง จะสามารถเลือกตัวแปรได้สูงสุด n ตัว ดังนั้น elastic net จึงเป็นที่นิยมมากกว่า

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ทำการเลือกตัวแปรและการหดตัวของสัมประสิทธิ์ในการปรับแบบจำลองครั้งเดียว ทำให้ได้แบบจำลองที่กระจัดกระจายและตีความได้
  • ผลักตัวทำนายที่อ่อนแอให้เป็นศูนย์อย่างแท้จริง ซึ่งทำให้แบบจำลองง่ายขึ้นและลดการเกิดภาวะการเรียนรู้เกิน (overfitting)
  • เป็นการตอบสนองตามธรรมชาติต่อภาวะสหสัมพันธ์เชิงเส้นพหุ (VIF สูง) โดยไม่ต้องลบตัวแปรด้วยตนเอง
  • ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ และสามารถจัดการกับตัวทำนายแบบต่อเนื่อง ไบนารี และการนับ
  • มีพารามิเตอร์การปรับแต่งเพียงตัวเดียว (แลมบ์ดา) ซึ่งง่ายต่อการตั้งค่าโดยการตรวจสอบข้าม

การประยุกต์ใช้

  • การสร้างแบบจำลองการทำนายที่กระจัดกระจายและตีความได้จากตัวทำนายผู้สมัครจำนวนมาก
  • การเลือกตัวแปรอัตโนมัติเมื่อมีภาวะสหสัมพันธ์เชิงเส้นพหุ (VIF สูง)
  • การตั้งค่าที่มีมิติสูงซึ่งคาดว่าจะมีเพียงส่วนย่อยของคุณลักษณะเท่านั้นที่มีความสำคัญ
  • เป็นพื้นฐานที่มีการควบคุมก่อนที่จะลองใช้ elastic net หรือแบบจำลองที่ซับซ้อนมากขึ้น

วิธีการทำงาน

วิธีการทำงาน

1

Lasso ลดผลรวมกำลังสองของส่วนเหลือ (sum of squared residuals) ตามปกติให้น้อยที่สุด บวกกับบทลงโทษที่เท่ากับแลมบ์ดาคูณผลรวมของค่าสัมบูรณ์ของสัมประสิทธิ์ บทลงโทษ L1 นี้เป็นคุณสมบัติที่กำหนด: ยิ่งแลมบ์ดามีค่ามากเท่าใด สัมประสิทธิ์ก็จะถูกดึงเข้าใกล้ศูนย์มากขึ้นเท่านั้น

สูตร
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

เนื่องจากบทลงโทษ L1 มีมุมที่คมชัด จึงทำได้มากกว่าแค่การลดสัมประสิทธิ์ให้เข้าใกล้ศูนย์ — มันตั้งค่าหลายตัวให้เป็นศูนย์อย่างแท้จริง ตัวแปรที่มีสัมประสิทธิ์เป็นศูนย์จะถูกลบออกไปอย่างมีประสิทธิภาพ ดังนั้นการปรับแบบจำลองและการเลือกตัวแปรจึงเกิดขึ้นในขั้นตอนเดียว และแบบจำลองสุดท้ายจะเป็นแบบกระจัดกระจาย

3

ความแรงของบทลงโทษแลมบ์ดาควบคุมการแลกเปลี่ยนระหว่างความเหมาะสม (fit) และความกระจัดกระจาย (sparsity) ดังนั้นจึงถูกเลือกโดยการตรวจสอบข้าม (cross-validation): จะมีการลองใช้ค่าแลมบ์ดาหลายค่า และค่าที่ทำให้ค่าเฉลี่ยกำลังสองของความคลาดเคลื่อนที่ตรวจสอบข้าม (cross-validated mean squared error) น้อยที่สุดจะถูกเก็บไว้ คุณลักษณะจะต้องถูกทำให้เป็นมาตรฐานก่อน เพื่อให้บทลงโทษเดียวสามารถนำไปใช้กับตัวทำนายที่มีมาตราส่วนต่างกันได้อย่างยุติธรรม

ข้อผิดพลาดที่พบบ่อย

  • การปรับ Lasso โดยไม่ทำให้คุณลักษณะเป็นมาตรฐานล่วงหน้า
  • การเลือกแลมบ์ดาด้วยตนเองแทนที่จะปรับแต่งด้วยการตรวจสอบข้าม
  • การเชื่อถือตัวแปรที่เลือกในตัวอย่างที่เล็กมากซึ่งการเลือกไม่มีเสถียรภาพ
  • การลืมตรวจสอบแผนภาพส่วนเหลือ (residual plots) สำหรับความเป็นปกติและความเป็นเนื้อเดียวกันหลังการปรับแบบจำลอง
  • การละเลยว่า เมื่อมีตัวทำนายมากกว่าจำนวนการสังเกต Lasso จะจำกัดจำนวนตัวแปรที่เลือก

คำถามที่พบบ่อย

เลือกแลมบ์ดาอย่างไร?

แลมบ์ดาควบคุมความแรงของการลงโทษสัมประสิทธิ์ โดยจะถูกเลือกโดยการตรวจสอบข้าม: จะมีการลองใช้ค่าหลายค่า และค่าที่ทำให้ค่าเฉลี่ยกำลังสองของความคลาดเคลื่อนที่ตรวจสอบข้าม (cross-validated mean squared error) น้อยที่สุดจะถูกเก็บไว้

ทำไมฉันต้องทำให้คุณลักษณะเป็นมาตรฐาน?

บทลงโทษ L1 เดียวกันจะถูกนำไปใช้กับสัมประสิทธิ์ทุกตัวอย่างเท่าเทียมกัน ดังนั้นตัวทำนายที่วัดในมาตราส่วนที่ใหญ่กว่าจะถูกลงโทษน้อยกว่า การทำให้คุณลักษณะเป็นมาตรฐานก่อนจะทำให้บทลงโทษมีความยุติธรรมกับตัวแปรต่างๆ

Lasso แตกต่างจาก ridge regression อย่างไร?

Lasso ใช้บทลงโทษ L1 ที่สามารถตั้งค่าสัมประสิทธิ์เป็นศูนย์ได้อย่างแท้จริง ซึ่งเป็นการเลือกตัวแปร ในขณะที่ ridge ใช้บทลงโทษ L2 ที่ลดสัมประสิทธิ์แต่ไม่ทำให้เป็นศูนย์ ในตัวอย่างขนาดเล็กหรือเมื่อการเลือกไม่มีเสถียรภาพ ridge เป็นทางเลือกที่ปลอดภัยกว่า

ฉันควรตรวจสอบอะไรหลังจากปรับแบบจำลอง?

ตรวจสอบเส้นโค้ง MSE ของการตรวจสอบข้ามเพื่อยืนยันค่าแลมบ์ดาที่เลือก ทบทวนว่าตัวแปรใดถูกเก็บไว้เทียบกับตัวแปรที่ถูกตั้งค่าเป็นศูนย์ และตรวจสอบแผนภาพส่วนเหลือสำหรับความเป็นปกติและความเป็นเนื้อเดียวกัน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว