Skip to content
กลับไปยังผลการค้นหา

การถดถอยโลจิสติกแบบเรกูลาไรซ์ (Regularized Logistic Regression)

ผู้เสนอ
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
ปี
1996–2005
ประเภท
Penalized classification model
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การถดถอยโลจิสติกแบบเรกูลาไรซ์ (Regularized logistic regression) เป็นการขยายการถดถอยโลจิสติกมาตรฐาน โดยการเพิ่มค่าปรับแบบ L1 (lasso), L2 (ridge), หรือ elastic net เข้าไปในฟังก์ชัน log-likelihood เพื่อลดทอนค่าสัมประสิทธิ์เข้าใกล้ศูนย์และป้องกันการเรียนรู้เกิน (overfitting) เป็นตัวเลือกเริ่มต้นสำหรับการจำแนกประเภทแบบทวิภาค (binary) หรือหลายประเภท (multinomial) เมื่อต้องการค่าสัมประสิทธิ์ที่ตีความได้, กระจัดกระจาย (sparse), หรือเสถียร ในปริภูมิของคุณลักษณะที่มีมิติสูง (high-dimensional) หรือมีความสัมพันธ์กัน (collinear).

แนวคิดเบื้องหลังวิธีการ

การถดถอยโลจิสติกมาตรฐานจะหาค่าสูงสุดของความน่าจะเป็นของป้ายกำกับคลาสที่สังเกตได้ ในการตั้งค่าที่มีมิติสูง — คุณลักษณะจำนวนมาก, การสังเกตน้อย, หรือตัวทำนายที่มีความสัมพันธ์กัน — ค่าสัมประสิทธิ์ที่ประมาณได้อาจมีค่าสูงมากหรือผันผวนอย่างรุนแรง ทำให้การสรุปผลทั่วไป (generalization) ทำได้ไม่ดี เรกูลาไรเซชันจะจำกัดขนาดของค่าสัมประสิทธิ์โดยการเพิ่มค่าปรับที่เพิ่มขึ้นตามขนาดของค่าสัมประสิทธิ์ โดยแลกกับการปรับให้เข้ากับชุดข้อมูลฝึก (training-set fit) เล็กน้อย เพื่อให้ได้การสรุปผลทั่วไปที่ดีขึ้น ค่าปรับแบบ L1 ทำให้ค่าสัมประสิทธิ์บางตัวมีค่าเป็นศูนย์โดยอัตโนมัติ (การเลือกคุณลักษณะอัตโนมัติ), ค่าปรับแบบ L2 ลดทอนค่าสัมประสิทธิ์ทั้งหมดอย่างราบรื่นโดยไม่ทำให้เป็นศูนย์, และ elastic net ผสมผสานทั้งสองพฤติกรรมเข้าด้วยกัน.

ประวัติศาสตร์

การถดถอยแบบ Ridge ถูกทำให้เป็นทางการโดย Hoerl และ Kennard ในปี 1970 และนำไปใช้กับแบบจำลองเชิงเส้นทั่วไป (generalized linear models) รวมถึงการถดถอยโลจิสติก บทความ lasso ของ Tibshirani ในปี 1996 ได้นำเสนอเรกูลาไรเซชันแบบ L1 พร้อมผลลัพธ์ที่กระจัดกระจาย ซึ่งได้เปลี่ยนแปลงการสร้างแบบจำลองที่มีมิติสูง Zou และ Hastie (2005) ได้รวมเอาทั้งสองค่าปรับเข้าด้วยกันเป็น elastic net เพื่อแก้ไขข้อจำกัดของ lasso กับกลุ่มของคุณลักษณะที่มีความสัมพันธ์กัน ปัจจุบัน การถดถอยโลจิสติกแบบเรกูลาไรซ์เป็นอัลกอริทึมพื้นฐานใน scikit-learn, glmnet (R), และ LIBLINEAR และถูกใช้อย่างสม่ำเสมอในฐานะตัวจำแนกประเภทพื้นฐาน (baseline)ในการใช้งานทางการแพทย์และ NLP

ควรใช้เมื่อใด

ใช้การถดถอยโลจิสติกแบบเรกูลาไรซ์สำหรับการจำแนกประเภทแบบทวิภาคหรือหลายประเภท เมื่อคุณต้องการผลลัพธ์ความน่าจะเป็นที่ตีความได้, เมื่อจำนวนคุณลักษณะมีมากเมื่อเทียบกับขนาดตัวอย่าง, หรือเมื่อตัวทำนายมีความสัมพันธ์กัน เป็นโมเดลเริ่มต้นที่ต้องการในการทำนายทางการแพทย์, การจำแนกข้อความด้วยคุณลักษณะแบบ bag-of-words, และการศึกษาตัวบ่งชี้ทางชีวภาพที่มีมิติสูง เลือก L1 เมื่อต้องการการเลือกคุณลักษณะอัตโนมัติ, L2 สำหรับการประมาณค่าสัมประสิทธิ์ที่เสถียร, และ elastic net เมื่อคุณลักษณะมาเป็นกลุ่มที่มีความสัมพันธ์กัน หลีกเลี่ยงเมื่อความสัมพันธ์ระหว่างผลลัพธ์กับคุณลักษณะมีความไม่เป็นเชิงเส้นสูง หรือเมื่อมีผลของปฏิสัมพันธ์ที่รุนแรงซึ่งสูตร log-odds เชิงเส้นไม่สามารถจับได้; ในกรณีนั้น อัลกอริทึมแบบ tree ensembles หรือ kernel methods อาจเหมาะสมกว่า.

ข้อจำกัดและข้อควรพิจารณา

  • สมมติว่ามีความสัมพันธ์เชิงเส้นระหว่างคุณลักษณะและ log-odds; ไม่สามารถจับผลที่ไม่เป็นเชิงเส้นหรือผลของปฏิสัมพันธ์ได้หากไม่มีการสร้างคุณลักษณะด้วยตนเอง
  • ต้องการให้ผลลัพธ์เป็นประเภทข้อมูลหมวดหมู่ (categorical); ผลลัพธ์ที่เป็นค่าต่อเนื่อง (continuous) ต้องการการถดถอยเชิงเส้น (ไม่ใช่โลจิสติก)
  • ประสิทธิภาพลดลงเมื่อคุณลักษณะที่เกี่ยวข้องมีปฏิสัมพันธ์กันอย่างรุนแรง เนื่องจากโมเดลเป็นแบบบวกใน log-odds
  • ต้องเลือกค่า lambda ที่เหมาะสมที่สุดโดยการตรวจสอบไขว้ ซึ่งเพิ่มการคำนวณและขั้นตอนการปรับแต่ง
  • ข้อมูลที่มีความไม่สมดุลของคลาสอย่างรุนแรงอาจทำให้ความน่าจะเป็นที่คาดการณ์ได้เอนเอียงไปทางคลาสส่วนใหญ่ หากไม่มีการถ่วงน้ำหนักใหม่

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้ผลลัพธ์ความน่าจะเป็นของคลาสที่สอบเทียบแล้ว (calibrated) และค่าสัมประสิทธิ์ที่มีเครื่องหมายที่ตีความได้ ซึ่งแตกต่างจากตัวจำแนกประเภทแบบกล่องดำส่วนใหญ่
  • ค่าปรับ L1 ทำการเลือกคุณลักษณะอัตโนมัติ สร้างโมเดลที่กระจัดกระจายซึ่งง่ายต่อการรายงาน
  • จัดการกับปริภูมิคุณลักษณะที่มีมิติสูง (p >> n) ได้อย่างทนทานผ่านการลดทอนค่าสัมประสิทธิ์
  • ค่าปรับ Elastic net จัดการกับกลุ่มคุณลักษณะที่มีความสัมพันธ์กันได้อย่างดี โดยกระจายน้ำหนักไปยังตัวทำนายที่เกี่ยวข้อง
  • ฝึกได้อย่างรวดเร็วแม้ในชุดข้อมูลขนาดใหญ่โดยใช้ตัวแก้แบบ coordinate descent; สามารถปรับขนาดได้ถึงหลักล้านการสังเกต

การประยุกต์ใช้

  • คะแนนความเสี่ยงทางคลินิกและตัวจำแนกประเภทการวินิจฉัยจากแผงตัวบ่งชี้ทางชีวภาพที่มีมิติสูง
  • การจำแนกข้อความด้วยคุณลักษณะแบบ bag-of-words หรือ TF-IDF ซึ่ง L1 สร้างน้ำหนักคำที่กระจัดกระจายและตีความได้
  • จีโนมิกส์และโปรตีโอมิกส์ ซึ่งจำนวนคุณลักษณะมีมากกว่าขนาดตัวอย่างอย่างมาก
  • การให้คะแนนเครดิตและการตรวจจับการฉ้อโกงที่ต้องการผลลัพธ์ความน่าจะเป็นสำหรับการตัดสินใจตามเกณฑ์
  • แบบจำลองพื้นฐาน (baseline) สำหรับการจำแนกประเภทก่อนที่จะประเมินโมเดล ensemble หรือ deep learning ที่ซับซ้อนกว่า

วิธีการทำงาน

วิธีการทำงาน

1

การรวมกันเชิงเส้นของลักษณะต่างๆ จะทำนาย log-odds ของคลาสบวก ฟังก์ชัน sigmoid แปลง log-odds ให้เป็นความน่าจะเป็นระหว่าง 0 ถึง 1 ทำให้ผลลัพธ์สามารถตีความได้โดยตรงว่าเป็นความน่าจะเป็นของคลาส.

สูตร
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

วัตถุประสงค์ของการหาค่าที่เหมาะสมที่สุดคือค่าลบของ log-likelihood (cross-entropy) บวกกับเทอมค่าปรับ ค่าปรับจะปรับขนาดตามขนาดของค่าสัมประสิทธิ์ ซึ่งควบคุมโดยไฮเปอร์พารามิเตอร์ lambda (ความแรง) และ alpha (การผสม L1/L2) ค่า lambda ที่มากขึ้นจะบังคับให้มีการลดทอนที่หนักขึ้น; alpha=1 ให้ผลลัพธ์แบบ lasso บริสุทธิ์, alpha=0 ให้ผลลัพธ์แบบ ridge บริสุทธิ์.

สูตร
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

การเลือกค่าปรับจะเป็นตัวกำหนดพฤติกรรม: L1 (lasso) สร้างผลลัพธ์ที่กระจัดกระจายโดยการทำให้คุณลักษณะที่ไม่เกี่ยวข้องมีค่าเป็นศูนย์ และเป็นที่ต้องการเมื่อต้องการการเลือกคุณลักษณะ L2 เป็นที่ต้องการเมื่อคาดว่าคุณลักษณะทั้งหมดจะมีส่วนร่วมและมีความสัมพันธ์กันสูง Elastic net (alpha ระหว่าง 0 ถึง 1) จัดการกับกลุ่มของคุณลักษณะที่มีความสัมพันธ์กันได้ดีกว่า lasso เพียงอย่างเดียว.

4

ฟังก์ชันการสูญเสียที่เรกูลาไรซ์แล้วจะถูกทำให้มีค่าน้อยที่สุดโดยใช้อัลกอริทึมแบบวนซ้ำ เช่น coordinate descent (ตัวแก้ liblinear/saga ของ scikit-learn) ค่า lambda ที่เหมาะสมที่สุดจะถูกกำหนดโดยการตรวจสอบไขว้ (cross-validation) โดยทั่วไปจะอยู่บนกริดแบบลอการิทึม การทำให้คุณลักษณะเป็นมาตรฐาน (Standardizing features) ก่อนการฝึกเป็นสิ่งจำเป็น เพื่อให้ค่าปรับถูกนำไปใช้กับตัวทำนายทั้งหมดอย่างสม่ำเสมอ.

5

ความน่าจะเป็นที่คาดการณ์ได้จะถูกแปลงเป็นป้ายกำกับคลาสโดยใช้เกณฑ์การตัดสิน (decision threshold) โดยทั่วไปคือ 0.5 เป็นค่าเริ่มต้น ในกรณีที่ข้อมูลมีความไม่สมดุล (imbalanced settings) เกณฑ์ควรได้รับการปรับเพื่อสร้างสมดุลระหว่างความแม่นยำ (precision) และความครอบคลุม (recall) ตามโครงสร้างต้นทุนของแอปพลิเคชัน.

สูตร
\hat{y} = \mathbf{1}[\hat{p} \ge t]

ข้อผิดพลาดที่พบบ่อย

  • การฝึกโดยไม่มีการทำให้คุณลักษณะเป็นมาตรฐาน: เทอมค่าปรับจะถือว่าค่าสัมประสิทธิ์ทั้งหมดเท่ากัน ดังนั้นคุณลักษณะที่มีค่าตัวเลขขนาดใหญ่จะได้รับการลดทอนน้อยกว่าตามสัดส่วน เว้นแต่จะถูกทำให้เป็นมาตรฐาน ซึ่งจะทำให้ผลลัพธ์บิดเบือน
  • การใช้เกณฑ์เริ่มต้นที่ 0.5 โดยไม่ได้ตรวจสอบการสอบเทียบและความสมดุลของคลาส ซึ่งจะลดความครอบคลุมของคลาสส่วนน้อยลงโดยไม่แจ้งให้ทราบ
  • การรายงานเฉพาะความถูกต้อง (accuracy) แทนที่จะเป็น AUC, F1, และตัวชี้วัดการสอบเทียบ ซึ่งจะบดบังประสิทธิภาพที่ต่ำของคลาสส่วนน้อย
  • การข้ามการตรวจสอบไขว้สำหรับการเลือก lambda และแทนที่จะประเมินผลบนข้อมูลฝึก ซึ่งนำไปสู่โมเดลที่เรียนรู้เกิน (overfitted)
  • การตีความค่าสัมประสิทธิ์ที่เลือกโดย lasso ว่าเป็นสาเหตุ (causal) โดยไม่ได้คำนึงถึงอคติของตัวแปรที่ถูกละเว้น (omitted-variable bias) และความไม่เสถียรของการเลือกตัวแปรใกล้กับขอบเขตการตัดสิน

คำถามที่พบบ่อย

ฉันจะเลือกระหว่าง L1, L2 และ elastic net ได้อย่างไร?

ใช้ L1 เมื่อคุณเชื่อว่ามีเพียงส่วนย่อยของคุณลักษณะเท่านั้นที่เกี่ยวข้องและคุณต้องการการเลือกอัตโนมัติ ใช้ L2 เมื่อคุณลักษณะทั้งหมดน่าจะมีส่วนร่วมหรือตัวทำนายมีความสัมพันธ์กันสูง เนื่องจาก ridge กระจายน้ำหนักไปทั่วกลุ่มที่มีความสัมพันธ์กัน ใช้ elastic net เมื่อคุณต้องการความกระจัดกระจาย แต่ก็มีกลุ่มของคุณลักษณะที่มีความสัมพันธ์กันด้วย; ปรับแต่ง alpha ควบคู่ไปกับ lambda ผ่านการตรวจสอบไขว้แบบซ้อน (nested cross-validation)

ฉันต้องทำให้คุณลักษณะเป็นมาตรฐานก่อนการฝึกหรือไม่?

ใช่เสมอไป เทอมค่าปรับจะถือว่าค่าสัมประสิทธิ์ทั้งหมดเท่ากัน ดังนั้นคุณลักษณะที่มีค่าตัวเลขขนาดใหญ่จะได้รับการลดทอนน้อยกว่าตามสัดส่วน เว้นแต่จะถูกทำให้เป็นมาตรฐานก่อนทำการฝึก และใช้การแปลงเดียวกันกับข้อมูลทดสอบ

ค่า lambda ถูกเลือกอย่างไร?

Lambda เป็นไฮเปอร์พารามิเตอร์ที่เลือกโดยการตรวจสอบไขว้ โดยทั่วไปคือ k-fold (k=5 หรือ 10) บนกริดแบบลอการิทึม ใน R's glmnet, cv.glmnet จะทำงานนี้โดยอัตโนมัติ ใน scikit-learn ควรใช้ LogisticRegressionCV หรือ GridSearchCV ร่วมกับการตรวจสอบไขว้บนค่าผกผันของความแรงของเรกูลาไรเซชัน C (C=1/lambda)

การถดถอยโลจิสติกแบบเรกูลาไรซ์ให้ความน่าจะเป็นที่สอบเทียบแล้วหรือไม่?

โดยทั่วไปใช่ ดีกว่า tree ensembles เนื่องจาก การถดถอยโลจิสติกจะสร้างแบบจำลองความน่าจะเป็นของคลาสโดยตรงผ่านฟังก์ชัน sigmoid อย่างไรก็ตาม เรกูลาไรเซชันที่มากเกินไปอาจบีบอัดความน่าจะเป็นที่คาดการณ์ได้ให้เข้าใกล้ 0.5 หากจำเป็น สามารถใช้ Platt scaling หรือ isotonic regression เพื่อสอบเทียบใหม่ได้

ฉันจะจัดการกับความไม่สมดุลของคลาสได้อย่างไร?

กำหนด class_weight='balanced' (scikit-learn) เพื่อให้การสังเกตของคลาสส่วนน้อยได้รับน้ำหนักความสูญเสียที่สูงขึ้น หรือทำการสุ่มตัวอย่างชุดข้อมูลฝึกใหม่ด้วยตนเอง นอกจากนี้ ควรปรับเกณฑ์การตัดสินโดยใช้เส้นโค้ง precision-recall แทนที่จะกำหนดตายตัวที่ 0.5

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN: 978-0-387-84857-0
    คัดลอกแล้ว