Lasso Regression
- ผู้เสนอ
- Tibshirani, R.
- ปี
- 1996
- ประเภท
- Regularized linear regression (L1 penalty)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Lasso regression ซึ่ง Robert Tibshirani ได้นำเสนอในปี 1996 เป็นวิธีการถดถอยเชิงเส้นที่เพิ่มบทลงโทษ L1 ให้กับการสูญเสีย (loss) เพื่อให้สัมประสิทธิ์หดตัวลงและทำการเลือกตัวแปรไปพร้อมกัน ทำให้เกิดแบบจำลองแบบกระจัดกระจาย (sparse model) ด้วยการทำให้สัมประสิทธิ์บางตัวเป็นศูนย์อย่างแท้จริง จึงคงไว้เฉพาะตัวทำนายที่มีความสำคัญเท่านั้น
แนวคิดเบื้องหลังวิธีการ
วิธีกำลังสองน้อยที่สุดสามัญ (Ordinary least squares) จะปรับตัวทำนายทุกตัวและสามารถกระจายน้ำหนักไปยังตัวแปรที่มีความสัมพันธ์กันหรือไม่มีความเกี่ยวข้องจำนวนมาก ซึ่งจะเพิ่มความแปรปรวนและบดบังว่าคุณลักษณะใดที่ขับเคลื่อนผลลัพธ์ที่แท้จริง Lasso เพิ่มงบประมาณสำหรับขนาดรวมของสัมประสิทธิ์: เมื่องบประมาณนั้นเข้มงวดขึ้น ตัวทำนายที่อ่อนแอจะถูกผลักให้เป็นศูนย์ทั้งหมดและหลุดออกจากแบบจำลอง ผลลัพธ์ที่ได้คือชุดตัวแปรที่เล็กลง มีเสถียรภาพมากขึ้น และตีความได้ง่ายขึ้น
ประวัติศาสตร์
Lasso ถูกนำเสนอโดย Robert Tibshirani ในปี 1996 เพื่อรวมการหดตัวของการถดถอยแบบมีบทลงโทษ (penalised regression) เข้ากับการเลือกตัวแปรอัตโนมัติ โดยใช้บทลงโทษ L1 กับสัมประสิทธิ์ มันกลายเป็นรากฐานสำคัญของสถิติที่มีมิติสูง (high-dimensional statistics) และเป็นแรงบันดาลใจให้เกิดวิธีการที่เกี่ยวข้อง เช่น ridge regression และ elastic net ซึ่งแลกเปลี่ยนหรือรวมบทลงโทษ L1 และ L2 เข้าด้วยกัน
ควรใช้เมื่อใด
เหมาะสมอย่างยิ่งเมื่อคุณต้องการแบบจำลองเชิงเส้นแบบกระจัดกระจายที่ตีความได้สำหรับการทำนายหรือการอธิบายจากตัวทำนายต่อเนื่อง ไบนารี หรือการนับจำนวนมาก และมีจำนวนการสังเกตอย่างน้อยประมาณ 30 รายการ มีประโยชน์อย่างยิ่งเมื่อเกิดภาวะสหสัมพันธ์เชิงเส้นพหุ (multicollinearity) (เช่น VIF สูงกว่า 10) และคุณต้องการให้วิธีนี้เลือกตัวแปรที่จะเก็บไว้เอง โดยสมมติความสัมพันธ์เชิงเส้นโดยประมาณและกำหนดให้คุณลักษณะต้องถูกทำให้เป็นมาตรฐาน หากมีจำนวนการสังเกตน้อยกว่าประมาณ 30 รายการ การเลือกตัวแปรจะไม่มีเสถียรภาพ และ ridge regression จะปลอดภัยกว่า เมื่อจำนวนตัวทำนายเกินขนาดตัวอย่าง elastic net จะเป็นที่นิยมมากกว่า
ข้อจำกัดและข้อควรพิจารณา
- สมมติความสัมพันธ์เชิงเส้นระหว่างตัวทำนายและผลลัพธ์
- คุณลักษณะต้องถูกทำให้เป็นมาตรฐานก่อน มิฉะนั้นบทลงโทษจะปฏิบัติต่อตัวแปรที่มีมาตราส่วนต่างกันอย่างไม่ยุติธรรม
- ในตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 30) ตัวแปรที่เลือกจะไม่มีเสถียรภาพและไม่สามารถทำซ้ำได้
- เมื่อจำนวนตัวทำนายเกินขนาดตัวอย่าง จะสามารถเลือกตัวแปรได้สูงสุด n ตัว ดังนั้น elastic net จึงเป็นที่นิยมมากกว่า
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ทำการเลือกตัวแปรและการหดตัวของสัมประสิทธิ์ในการปรับแบบจำลองครั้งเดียว ทำให้ได้แบบจำลองที่กระจัดกระจายและตีความได้
- ผลักตัวทำนายที่อ่อนแอให้เป็นศูนย์อย่างแท้จริง ซึ่งทำให้แบบจำลองง่ายขึ้นและลดการเกิดภาวะการเรียนรู้เกิน (overfitting)
- เป็นการตอบสนองตามธรรมชาติต่อภาวะสหสัมพันธ์เชิงเส้นพหุ (VIF สูง) โดยไม่ต้องลบตัวแปรด้วยตนเอง
- ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ และสามารถจัดการกับตัวทำนายแบบต่อเนื่อง ไบนารี และการนับ
- มีพารามิเตอร์การปรับแต่งเพียงตัวเดียว (แลมบ์ดา) ซึ่งง่ายต่อการตั้งค่าโดยการตรวจสอบข้าม
การประยุกต์ใช้
- การสร้างแบบจำลองการทำนายที่กระจัดกระจายและตีความได้จากตัวทำนายผู้สมัครจำนวนมาก
- การเลือกตัวแปรอัตโนมัติเมื่อมีภาวะสหสัมพันธ์เชิงเส้นพหุ (VIF สูง)
- การตั้งค่าที่มีมิติสูงซึ่งคาดว่าจะมีเพียงส่วนย่อยของคุณลักษณะเท่านั้นที่มีความสำคัญ
- เป็นพื้นฐานที่มีการควบคุมก่อนที่จะลองใช้ elastic net หรือแบบจำลองที่ซับซ้อนมากขึ้น
วิธีการทำงาน
วิธีการทำงาน
Lasso ลดผลรวมกำลังสองของส่วนเหลือ (sum of squared residuals) ตามปกติให้น้อยที่สุด บวกกับบทลงโทษที่เท่ากับแลมบ์ดาคูณผลรวมของค่าสัมบูรณ์ของสัมประสิทธิ์ บทลงโทษ L1 นี้เป็นคุณสมบัติที่กำหนด: ยิ่งแลมบ์ดามีค่ามากเท่าใด สัมประสิทธิ์ก็จะถูกดึงเข้าใกล้ศูนย์มากขึ้นเท่านั้น
สูตร
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|เนื่องจากบทลงโทษ L1 มีมุมที่คมชัด จึงทำได้มากกว่าแค่การลดสัมประสิทธิ์ให้เข้าใกล้ศูนย์ — มันตั้งค่าหลายตัวให้เป็นศูนย์อย่างแท้จริง ตัวแปรที่มีสัมประสิทธิ์เป็นศูนย์จะถูกลบออกไปอย่างมีประสิทธิภาพ ดังนั้นการปรับแบบจำลองและการเลือกตัวแปรจึงเกิดขึ้นในขั้นตอนเดียว และแบบจำลองสุดท้ายจะเป็นแบบกระจัดกระจาย
ความแรงของบทลงโทษแลมบ์ดาควบคุมการแลกเปลี่ยนระหว่างความเหมาะสม (fit) และความกระจัดกระจาย (sparsity) ดังนั้นจึงถูกเลือกโดยการตรวจสอบข้าม (cross-validation): จะมีการลองใช้ค่าแลมบ์ดาหลายค่า และค่าที่ทำให้ค่าเฉลี่ยกำลังสองของความคลาดเคลื่อนที่ตรวจสอบข้าม (cross-validated mean squared error) น้อยที่สุดจะถูกเก็บไว้ คุณลักษณะจะต้องถูกทำให้เป็นมาตรฐานก่อน เพื่อให้บทลงโทษเดียวสามารถนำไปใช้กับตัวทำนายที่มีมาตราส่วนต่างกันได้อย่างยุติธรรม
ข้อผิดพลาดที่พบบ่อย
- การปรับ Lasso โดยไม่ทำให้คุณลักษณะเป็นมาตรฐานล่วงหน้า
- การเลือกแลมบ์ดาด้วยตนเองแทนที่จะปรับแต่งด้วยการตรวจสอบข้าม
- การเชื่อถือตัวแปรที่เลือกในตัวอย่างที่เล็กมากซึ่งการเลือกไม่มีเสถียรภาพ
- การลืมตรวจสอบแผนภาพส่วนเหลือ (residual plots) สำหรับความเป็นปกติและความเป็นเนื้อเดียวกันหลังการปรับแบบจำลอง
- การละเลยว่า เมื่อมีตัวทำนายมากกว่าจำนวนการสังเกต Lasso จะจำกัดจำนวนตัวแปรที่เลือก
คำถามที่พบบ่อย
เลือกแลมบ์ดาอย่างไร?
แลมบ์ดาควบคุมความแรงของการลงโทษสัมประสิทธิ์ โดยจะถูกเลือกโดยการตรวจสอบข้าม: จะมีการลองใช้ค่าหลายค่า และค่าที่ทำให้ค่าเฉลี่ยกำลังสองของความคลาดเคลื่อนที่ตรวจสอบข้าม (cross-validated mean squared error) น้อยที่สุดจะถูกเก็บไว้
ทำไมฉันต้องทำให้คุณลักษณะเป็นมาตรฐาน?
บทลงโทษ L1 เดียวกันจะถูกนำไปใช้กับสัมประสิทธิ์ทุกตัวอย่างเท่าเทียมกัน ดังนั้นตัวทำนายที่วัดในมาตราส่วนที่ใหญ่กว่าจะถูกลงโทษน้อยกว่า การทำให้คุณลักษณะเป็นมาตรฐานก่อนจะทำให้บทลงโทษมีความยุติธรรมกับตัวแปรต่างๆ
Lasso แตกต่างจาก ridge regression อย่างไร?
Lasso ใช้บทลงโทษ L1 ที่สามารถตั้งค่าสัมประสิทธิ์เป็นศูนย์ได้อย่างแท้จริง ซึ่งเป็นการเลือกตัวแปร ในขณะที่ ridge ใช้บทลงโทษ L2 ที่ลดสัมประสิทธิ์แต่ไม่ทำให้เป็นศูนย์ ในตัวอย่างขนาดเล็กหรือเมื่อการเลือกไม่มีเสถียรภาพ ridge เป็นทางเลือกที่ปลอดภัยกว่า
ฉันควรตรวจสอบอะไรหลังจากปรับแบบจำลอง?
ตรวจสอบเส้นโค้ง MSE ของการตรวจสอบข้ามเพื่อยืนยันค่าแลมบ์ดาที่เลือก ทบทวนว่าตัวแปรใดถูกเก็บไว้เทียบกับตัวแปรที่ถูกตั้งค่าเป็นศูนย์ และตรวจสอบแผนภาพส่วนเหลือสำหรับความเป็นปกติและความเป็นเนื้อเดียวกัน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว