Skip to content
กลับไปยังผลการค้นหา

Elastic Net

ผู้เสนอ
Zou, H. & Hastie, T.
ปี
2005
ประเภท
Regularized linear regression (L1 + L2 penalty)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Elastic Net เป็นระเบียบวิธีถดถอยเชิงเส้นแบบมีตัวปรับแก้ (regularized linear regression) ที่ Zou และ Hastie นำเสนอในปี 2005 ซึ่งผสมผสานบทลงโทษแบบ LASSO (L1) และ Ridge (L2) เข้าด้วยกัน จึงสามารถทำการเลือกตัวแปรและการหดตัวของสัมประสิทธิ์ได้พร้อมกัน ระเบียบวิธีนี้ออกแบบมาสำหรับการสร้างแบบจำลองเชิงพยากรณ์และเชิงอธิบายสำหรับข้อมูลที่มีตัวพยากรณ์จำนวนมากและอาจมีความสัมพันธ์กัน

แนวคิดเบื้องหลังวิธีการ

การถดถอยเชิงเส้นแบบธรรมดาอาจเกิดการเรียนรู้เกิน (overfit) และทำงานได้ไม่ดีเมื่อตัวพยากรณ์มีความสัมพันธ์กัน หรือเมื่อมีจำนวนคุณลักษณะมากกว่าจำนวนการสังเกต LASSO สามารถทำให้สัมประสิทธิ์เป็นศูนย์เพื่อเลือกตัวแปรได้ แต่มีปัญหาเมื่อกลุ่มของตัวพยากรณ์มีความสัมพันธ์กัน ในขณะที่ Ridge ทำให้สัมประสิทธิ์ทั้งหมดหดตัวลงอย่างราบรื่นแต่ไม่เคยตัดตัวแปรทิ้ง Elastic Net ผสมผสานทั้งสองวิธีเข้าด้วยกัน: โดยยังคงความสามารถของ LASSO ในการกำหนดให้สัมประสิทธิ์บางตัวเป็นศูนย์อย่างแม่นยำ ในขณะที่ยืมความเสถียรของ Ridge มาใช้ เพื่อให้ตัวพยากรณ์ที่มีความสัมพันธ์กันได้รับการจัดการอย่างเหมาะสม แทนที่จะถูกเลือกอย่างสุ่ม ๆ

ประวัติศาสตร์

Elastic Net ถูกนำเสนอโดย Hui Zou และ Trevor Hastie ในปี 2005 เพื่อเอาชนะจุดอ่อนสองประการที่ทราบกันดีของ LASSO: พฤติกรรมที่ไม่แน่นอนเมื่อตัวพยากรณ์มีความสัมพันธ์กันสูง และความไม่สามารถในการเลือกตัวแปรได้มากกว่าจำนวนการสังเกต โดยการเพิ่มพจน์ L2 แบบ Ridge เข้าไปในบทลงโทษ L1 ของ LASSO พวกเขาได้สร้างตัวประมาณค่าที่ทั้งเลือกตัวแปรและทำให้ผลลัพธ์มีเสถียรภาพ และได้กลายเป็นเครื่องมือมาตรฐานสำหรับการถดถอยมิติสูง (high-dimensional regression)

ควรใช้เมื่อใด

ใช้ Elastic Net สำหรับการพยากรณ์หรือการอธิบายผลลัพธ์แบบต่อเนื่อง แบบไบนารี หรือแบบนับ เมื่อคุณมีตัวพยากรณ์จำนวนมาก โดยเฉพาะอย่างยิ่งตัวพยากรณ์ที่มีความสัมพันธ์กัน หรือมีจำนวนคุณลักษณะมากกว่าจำนวนการสังเกต และต้องการการเลือกตัวแปรอัตโนมัติพร้อมกับการหดตัว Elastic Net สันนิษฐานความสัมพันธ์เชิงเส้นโดยประมาณ และคุณลักษณะได้รับการทำให้เป็นมาตรฐานแล้ว คุณต้องมีข้อมูลอย่างน้อยประมาณ 30 การสังเกต เพื่อให้ไฮเปอร์พารามิเตอร์ทั้งสองสามารถปรับได้ด้วยการตรวจสอบความถูกต้องแบบไขว้ หากน้อยกว่านั้น การใช้ LASSO หรือ Ridge แบบธรรมดาจะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • สันนิษฐานความสัมพันธ์เชิงเส้นโดยประมาณระหว่างตัวพยากรณ์และผลลัพธ์
  • คุณลักษณะต้องได้รับการทำให้เป็นมาตรฐานก่อน มิฉะนั้นบทลงโทษจะให้ความสำคัญกับตัวแปรที่มีมาตราส่วนขนาดใหญ่โดยไม่เป็นธรรม
  • ไฮเปอร์พารามิเตอร์สองตัว (ความแรงของบทลงโทษและอัตราส่วน L1/L2) ต้องได้รับการปรับ ซึ่งต้องการข้อมูลการตรวจสอบความถูกต้องแบบไขว้มากกว่าระเบียบวิธีที่มีบทลงโทษเดียว
  • ในตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 30) อัตราส่วนการผสม L1/L2 ไม่เสถียรในการหาค่าที่เหมาะสมที่สุด

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • รวมการเลือกตัวแปรแบบ LASSO เข้ากับการหดตัวแบบ Ridge ในแบบจำลองเดียว
  • จัดการกับตัวพยากรณ์ที่มีความสัมพันธ์กันได้อย่างเหมาะสม โดยมักจะเก็บหรือตัดทิ้งเป็นกลุ่ม
  • ใช้งานได้เมื่อจำนวนคุณลักษณะเกินจำนวนการสังเกต
  • ไม่ขึ้นกับการแจกแจง: ไม่ต้องการผลลัพธ์ที่มีการแจกแจงแบบปกติ และรองรับคุณลักษณะแบบต่อเนื่อง แบบไบนารี และแบบนับ

การประยุกต์ใช้

  • การถดถอยมิติสูงที่ตัวพยากรณ์มีจำนวนมากกว่าการสังเกต
  • การศึกษาจีโนมและชีวภาพที่มีคุณลักษณะที่สัมพันธ์กันจำนวนมาก
  • การสร้างแบบจำลองเชิงพยากรณ์ที่ต้องการทั้งการเลือกตัวแปรและสัมประสิทธิ์ที่แข็งแกร่ง
  • การสร้างแบบจำลองเชิงอธิบายที่การหดตัวและการตัดแต่งตัวพยากรณ์ที่มีความสัมพันธ์กันช่วยให้สัญญาณชัดเจนขึ้น

วิธีการทำงาน

วิธีการทำงาน

1

แบบจำลองจะปรับสัมประสิทธิ์โดยการลดค่าความคลาดเคลื่อนกำลังสองตามปกติ บวกกับบทลงโทษแบบผสม: พจน์ L1 ที่ผลักดันให้สัมประสิทธิ์บางตัวเป็นศูนย์อย่างแม่นยำ (การเลือก) และพจน์ L2 ที่ทำให้สัมประสิทธิ์หดตัวลงอย่างราบรื่น (ความเสถียร) ความแรงของบทลงโทษทั้งหมดถูกควบคุมโดย λ และความสมดุลระหว่างบทลงโทษทั้งสองถูกควบคุมโดยพารามิเตอร์การผสม (l1_ratio ซึ่งในที่นี้เขียนเป็น α)

สูตร
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

ไฮเปอร์พารามิเตอร์สองตัวควบคุมการปรับแบบจำลอง ได้แก่ ความแรงของบทลงโทษโดยรวมและอัตราส่วนการผสม L1/L2 ซึ่งถูกเลือกโดยการตรวจสอบความถูกต้องแบบไขว้ (cross-validation) เนื่องจากมีปุ่มปรับสองปุ่มแทนที่จะเป็นปุ่มเดียว Elastic Net จึงต้องการข้อมูลที่เพียงพอ (อย่างน้อยประมาณ 30 การสังเกต) เพื่อให้ตารางการตรวจสอบความถูกต้องแบบไขว้มีความน่าเชื่อถือ ควรมีการทำให้ตัวพยากรณ์เป็นมาตรฐานก่อน เพื่อให้บทลงโทษปฏิบัติต่อคุณลักษณะทุกตัวในมาตราส่วนเดียวกัน

3

แบบจำลองที่ปรับแล้วจะให้ชุดสัมประสิทธิ์ที่กระจัดกระจาย: ตัวพยากรณ์ที่ไม่สำคัญจะถูกผลักดันให้เป็นศูนย์และถูกตัดทิ้ง ในขณะที่ตัวพยากรณ์ที่มีความสัมพันธ์กันมักจะถูกเก็บไว้หรือถูกตัดทิ้งไปพร้อมกันเป็นกลุ่ม แทนที่จะถูกเลือกแบบสุ่ม สัมประสิทธิ์ที่เหลืออยู่ซึ่งถูกทำให้หดตัวลง จะให้แบบจำลองที่มีความเสถียรและสามารถสรุปผลได้ดีกว่าการถดถอยที่ไม่มีบทลงโทษ

ข้อผิดพลาดที่พบบ่อย

  • การปรับแบบจำลองโดยไม่ทำให้ตัวพยากรณ์เป็นมาตรฐานก่อน
  • พยายามปรับไฮเปอร์พารามิเตอร์ทั้งสองตัวด้วยจำนวนการสังเกตที่น้อยเกินไป ทำให้ตารางการตรวจสอบความถูกต้องแบบไขว้ไม่น่าเชื่อถือ
  • เลือกใช้ Elastic Net เมื่อบทลงโทษเดียวก็เพียงพอแล้ว — LASSO อย่างเดียวหากคุณต้องการเพียงการเลือก หรือ Ridge อย่างเดียวหากคุณต้องการเพียงการหดตัว
  • การตีความสัมประสิทธิ์ที่หดตัวว่าเป็นขนาดผลกระทบที่ไม่เอนเอียง

คำถามที่พบบ่อย

Elastic Net แตกต่างจาก LASSO และ Ridge อย่างไร?

LASSO ใช้เฉพาะบทลงโทษ L1 (การเลือก แต่ไม่เสถียรกับตัวพยากรณ์ที่มีความสัมพันธ์กัน); Ridge ใช้เฉพาะบทลงโทษ L2 (การหดตัวที่เสถียร แต่ไม่เคยตัดตัวแปรทิ้ง) Elastic Net ผสมผสานทั้งสองอย่างเข้าด้วยกัน โดยควบคุมด้วยอัตราส่วนการผสม ดังนั้นจึงเลือกตัวแปรและยังคงเสถียรกับคุณลักษณะที่มีความสัมพันธ์กัน

ฉันจำเป็นต้องปรับขนาดคุณลักษณะของฉันหรือไม่?

ใช่ บทลงโทษจะกระทำต่อขนาดของสัมประสิทธิ์ ดังนั้นคุณลักษณะต้องได้รับการทำให้เป็นมาตรฐานก่อน มิฉะนั้นตัวแปรที่มีมาตราส่วนขนาดใหญ่จะถูกลงโทษแตกต่างกัน และการเลือกจะเอนเอียง

ฉันต้องการจำนวนการสังเกตเท่าใด?

อย่างน้อยประมาณ 30 Elastic Net ปรับไฮเปอร์พารามิเตอร์สองตัวด้วยการตรวจสอบความถูกต้องแบบไขว้ ดังนั้นจึงต้องการข้อมูลมากกว่าระเบียบวิธีที่มีบทลงโทษเดียว หากน้อยกว่า 30 ให้ใช้ LASSO แบบธรรมดาหากคุณต้องการการเลือก หรือ Ridge หากคุณต้องการการหดตัว

ไฮเปอร์พารามิเตอร์ทั้งสองตัวควบคุมอะไร?

ความแรงของบทลงโทษโดยรวม (λ) ควบคุมว่าสัมประสิทธิ์จะถูกทำให้หดตัวลงมากน้อยเพียงใด และอัตราส่วนการผสม (l1_ratio) กำหนดความสมดุลระหว่างบทลงโทษ L1 สำหรับการเลือกและบทลงโทษ L2 สำหรับการหดตัว ทั้งสองถูกเลือกโดยการตรวจสอบความถูกต้องแบบไขว้

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว