Skip to content
กลับไปยังผลการค้นหา

การถดถอยโลจิสติก (ML)

ผู้เสนอ
Cox, D. R.
ปี
1958
ประเภท
Probabilistic linear classifier
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การถดถอยโลจิสติกเป็นการจำแนกประเภทเชิงความน่าจะเป็นพื้นฐานที่สร้างแบบจำลองของลอการิทึมของอัตราต่อรอง (log-odds) ของผลลัพธ์แบบทวิภาค (หรือหลายภาค) ในฐานะฟังก์ชันเชิงเส้นของผู้ทำนาย ถูกนำเสนอโดย D. R. Cox ในปี 1958 ยังคงเป็นหนึ่งในวิธีการจำแนกประเภทที่ใช้กันอย่างแพร่หลายและตีความได้มากที่สุดทั้งในสถิติและแมชชีนเลิร์นนิง ซึ่งมีคุณค่าสำหรับผลลัพธ์ความน่าจะเป็นที่ปรับเทียบได้และการตีความสัมประสิทธิ์ที่ชัดเจน

แนวคิดเบื้องหลังวิธีการ

การถดถอยโลจิสติกถามว่า: เมื่อกำหนดชุดของคุณลักษณะแล้ว ความน่าจะเป็นที่การสังเกตการณ์จะอยู่ในคลาสที่กำหนดคือเท่าใด? มันปรับเส้นตรงให้เข้ากับลอการิทึมของอัตราต่อรองของผลลัพธ์ จากนั้นจึงบีบอัดคะแนนเชิงเส้นนั้นผ่านฟังก์ชันซิกมอยด์ (รูปตัว S) เพื่อให้ได้ความน่าจะเป็นระหว่าง 0 ถึง 1 สัมประสิทธิ์ของผู้ทำนายแต่ละตัวจะบอกคุณโดยตรงว่าการเปลี่ยนแปลงหนึ่งหน่วยในลักษณะนั้นส่งผลต่อลอการิทึมของอัตราต่อรองของคลาสบวกอย่างไร ทำให้แบบจำลองมีความโปร่งใสสูง ความน่าจะเป็นที่คาดการณ์ไว้สูงกว่า 0.5 จะถูกจำแนกเป็นคลาสบวก แม้ว่าเกณฑ์นี้จะสามารถปรับได้

ประวัติศาสตร์

David Cox ได้กำหนดรูปแบบการถดถอยโลจิสติกสำหรับผลลัพธ์แบบทวิภาคในปี 1958 โดยต่อยอดจากงานก่อนหน้านี้เกี่ยวกับแบบจำลองโพรบิต (probit models) ในช่วงทศวรรษ 1970–1980 ได้กลายเป็นแบบจำแนกประเภทมาตรฐานในระบาดวิทยาและสังคมศาสตร์ กรอบการประมาณค่าความเป็นไปได้สูงสุด (maximum-likelihood framework) ซึ่งขยายไปยังผลลัพธ์หลายภาคและรูปแบบที่ทำให้เป็นปกติ ได้รับการรวบรวมโดย Lasso ของ Tibshirani (1996) และโดย The Elements of Statistical Learning ของ Hastie, Tibshirani และ Friedman (2001) ปัจจุบันยังคงเป็นแบบจำแนกประเภทที่ตีความได้ตามแบบแผน และเป็นพื้นฐานที่จำเป็นในแนวทางการทบทวนโดยผู้ทรงคุณวุฒิหลายฉบับ

ควรใช้เมื่อใด

ใช้การถดถอยโลจิสติกเมื่อผลลัพธ์เป็นแบบทวิภาคหรือหมวดหมู่ ขนาดตัวอย่างมีอย่างน้อยปานกลาง (n > 10 เหตุการณ์ต่อผู้ทำนายตามกฎทั่วไป) และต้องการสัมประสิทธิ์ที่ตีความได้หรือความน่าจะเป็นที่ปรับเทียบได้ เป็นแบบจำแนกประเภทพื้นฐานเริ่มต้นในสังคมศาสตร์ การแพทย์ และระบาดวิทยา และควรลองก่อนแบบจำลองที่ซับซ้อนกว่า หลีกเลี่ยงเมื่อขอบเขตการตัดสินใจมีความไม่เป็นเชิงเส้นอย่างมาก เมื่อจำเป็นต้องมีพจน์ปฏิสัมพันธ์จำนวนมาก หรือเมื่อความแม่นยำในการทำนายบนข้อมูลตารางที่ซับซ้อนมีความสำคัญมากกว่าการตีความ ในกรณีเหล่านั้น กลุ่มแบบจำลองต้นไม้ (tree-based ensembles) หรือ SVM มักจะมีประสิทธิภาพดีกว่า

ข้อจำกัดและข้อควรพิจารณา

  • สมมติว่ามีความสัมพันธ์เชิงเส้นระหว่างคุณลักษณะและลอการิทึมของอัตราต่อรองของผลลัพธ์ รูปแบบที่ไม่เป็นเชิงเส้นต้องการการสร้างคุณลักษณะด้วยตนเองหรือแบบจำลองที่ไม่เป็นเชิงเส้น
  • ไวต่อภาวะสหสหสัมพันธ์ (multicollinearity) ระหว่างผู้ทำนาย: คุณลักษณะที่สัมพันธ์กันจะเพิ่มความคลาดเคลื่อนมาตรฐานของสัมประสิทธิ์และทำให้การประมาณค่าไม่เสถียร
  • ต้องการจำนวนเหตุการณ์ต่อผู้ทำนายที่เหมาะสม (กฎทั่วไป: อย่างน้อย 10); คลาสผลลัพธ์ที่เบาบางทำให้เกิดปัญหาการบรรจบกันและการเรียนรู้เกิน
  • อาจมีประสิทธิภาพต่ำกว่าแบบจำลองกลุ่ม (ensemble methods) (random forest, gradient boosting) บนข้อมูลตารางที่ซับซ้อนที่มีปฏิสัมพันธ์จำนวนมาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • สร้างความน่าจะเป็นของคลาสที่ปรับเทียบได้ ไม่ใช่แค่ป้ายกำกับ ซึ่งสามารถนำไปใช้ได้โดยตรงสำหรับการจัดอันดับและการกำหนดเกณฑ์การตัดสินใจ
  • สัมประสิทธิ์สามารถตีความได้ว่าเป็นอัตราส่วนลอการิทึมของอัตราต่อรอง (log-odds ratios) ซึ่งเป็นไปตามมาตรฐานที่คาดหวังในการวิจัยทางคลินิก สังคมศาสตร์ และนโยบาย
  • รวดเร็วในการคำนวณและมีประสิทธิภาพด้านหน่วยความจำ แม้ในชุดข้อมูลขนาดใหญ่
  • รูปแบบที่ทำให้เป็นปกติ (Regularised variants) (Ridge, Lasso, Elastic Net) จัดการกับคุณลักษณะที่มีมิติสูงและทำการเลือกคุณลักษณะอัตโนมัติ
  • ข้อสมมติฐานน้อยกว่าการวิเคราะห์จำแนกประเภท (discriminant analysis): ไม่ต้องการการแจกแจงแบบปกติหลายตัวแปร (multivariate normality) ของผู้ทำนาย
  • แข็งแกร่งและเป็นที่เข้าใจกันดี ทำหน้าที่เป็นพื้นฐานที่แข็งแกร่งและน่าเชื่อถือ ซึ่งแบบจำลองที่ซับซ้อนควรถูกนำมาเปรียบเทียบ

การประยุกต์ใช้

  • การวินิจฉัยโรคและการให้คะแนนความเสี่ยงทางคลินิก (เช่น การคาดการณ์การกลับมารักษาซ้ำหรืออัตราการเสียชีวิต)
  • ความเสี่ยงด้านสินเชื่อและการตรวจจับการฉ้อโกงทางการเงิน
  • การสร้างแบบจำลองการตอบแบบสำรวจแบบทวิภาคในสังคมศาสตร์และระบาดวิทยา
  • การจำแนกสแปมและความรู้สึกเป็นพื้นฐานข้อความที่รวดเร็วและตีความได้
  • แบบจำแนกประเภทพื้นฐานก่อนที่จะนำแบบจำลองกลุ่มที่ซับซ้อนกว่ามาใช้

วิธีการทำงาน

วิธีการทำงาน

1

มีการคำนวณผลรวมถ่วงน้ำหนักของคุณลักษณะอินพุตทั้งหมด คุณลักษณะแต่ละรายการจะได้รับสัมประสิทธิ์ (น้ำหนัก) ที่เรียนรู้จากข้อมูล ส่วนตัดแกน (intercept) จะจับลอการิทึมของอัตราต่อรองพื้นฐานเมื่อคุณลักษณะทั้งหมดเป็นศูนย์ รูปแบบนี้เหมือนกับการถดถอยเชิงเส้น แต่ผลลัพธ์จะถูกตีความว่าเป็นคะแนนลอการิทึมของอัตราต่อรอง แทนที่จะเป็นการทำนายเชิงตัวเลขโดยตรง

สูตร
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

คะแนนเชิงเส้นจะถูกแปลงโดยฟังก์ชันซิกมอยด์ ซึ่งจับคู่จำนวนจริงใดๆ กับช่วงเปิด (0, 1) สิ่งนี้ให้ความน่าจะเป็นของคลาสที่ปรับเทียบได้ดี สำหรับปัญหาหลายคลาส ฟังก์ชันซอฟต์แมกซ์ (softmax) จะขยายขั้นตอนนี้เพื่อสร้างการกระจายความน่าจะเป็นเหนือทุกคลาส

สูตร
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

พารามิเตอร์ของแบบจำลองจะถูกประมาณค่าโดยการทำให้ลอการิทึมของความเป็นไปได้ (log-likelihood) ของป้ายกำกับที่สังเกตได้สูงสุดเมื่อกำหนดความน่าจะเป็นที่คาดการณ์ไว้ ซึ่งเทียบเท่ากับการลดค่าความสูญเสียแบบไขว้เชิงลบ (binary cross-entropy loss) ซึ่งแตกต่างจากการถดถอยกำลังสองน้อยที่สุด (ordinary least squares) ไม่มีคำตอบแบบปิด (closed-form solution): ใช้อัลกอริทึมการปรับให้เหมาะสมแบบวนซ้ำ (โดยทั่วไปคือ Newton–Raphson หรือ gradient descent)

สูตร
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

ตัวแก้แบบวนซ้ำ เช่น L-BFGS, Newton–Raphson หรือ stochastic gradient descent จะอัปเดตเวกเตอร์สัมประสิทธิ์จนกว่าจะบรรจบกัน สามารถเพิ่มพจน์การทำให้เป็นปกติ (regularisation terms) (L1 หรือ L2) ให้กับฟังก์ชันวัตถุประสงค์เพื่อหดสัมประสิทธิ์ ป้องกันการเรียนรู้เกิน (overfitting) และเปิดใช้งานการเลือกคุณลักษณะอัตโนมัติ (L1 / Lasso)

5

ความน่าจะเป็นที่ปรับค่าได้จะถูกเปรียบเทียบกับเกณฑ์การจำแนกประเภท (ค่าเริ่มต้น 0.5) เพื่อกำหนดป้ายกำกับคลาส ในกรณีที่มีความไม่สมดุลของคลาส หรือเมื่อต้นทุนของผลบวกลวง (false-positive) และผลลบลวง (false-negative) แตกต่างกัน เกณฑ์นี้ควรได้รับการปรับแต่งโดยใช้เส้นโค้งความแม่นยำ-การเรียกคืน (precision-recall curve) หรือการวิเคราะห์ ROC แทนที่จะปล่อยไว้ที่ 0.5

สูตร
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

ข้อผิดพลาดที่พบบ่อย

  • การละเว้นการแบ่งข้อมูลฝึก/ทดสอบ (train/test split) หรือการตรวจสอบไขว้ (cross-validation) และการประเมินบนข้อมูลฝึก ซึ่งทำให้ประสิทธิภาพที่ปรากฏสูงเกินจริง
  • การใช้ความแม่นยำ (accuracy) เป็นเมตริกเดียวกับคลาสที่ไม่สมดุล แทนที่จะรายงาน AUC-ROC, F1 และเมทริกซ์ความสับสน (confusion matrix)
  • การละเลยข้อสมมติฐานเชิงเส้นและการใช้การถดถอยโลจิสติกกับข้อมูลที่มีขอบเขตคลาสที่ไม่เป็นเชิงเส้นอย่างมากโดยไม่มีการตรวจสอบวินิจฉัย
  • การไม่ใช้การทำให้เป็นปกติเมื่อจำนวนผู้ทำนายมีขนาดใหญ่เมื่อเทียบกับขนาดตัวอย่าง ซึ่งนำไปสู่การเรียนรู้เกิน
  • การไม่ตรวจสอบภาวะสหสหสัมพันธ์ (ผ่าน VIF) ก่อนตีความขนาดของสัมประสิทธิ์

คำถามที่พบบ่อย

เมื่อใดที่ควรเลือกใช้การถดถอยโลจิสติกแทน Random Forest?

เมื่อคุณต้องการความน่าจะเป็นที่ปรับเทียบได้ สัมประสิทธิ์ที่ตีความได้ หรือต้องเป็นไปตามมาตรฐานการรายงานที่ต้องการอัตราต่อรองที่ชัดเจน เช่นในการทดลองทางคลินิกหรือการประเมินนโยบาย Random Forest มักจะให้ความแม่นยำในการทำนายที่สูงกว่า แต่ไม่มีการตีความสัมประสิทธิ์โดยตรง

ฉันต้องการการสังเกตการณ์กี่รายการ?

กฎทั่วไปที่อ้างอิงกันอย่างแพร่หลายคืออย่างน้อย 10 เหตุการณ์ (ผลลัพธ์เชิงบวก) ต่อตัวแปรผู้ทำนาย ด้วยจำนวนเหตุการณ์ที่น้อยลง การประมาณค่าพารามิเตอร์จะไม่เสถียรและช่วงความเชื่อมั่นจะไม่น่าเชื่อถือ การทำให้เป็นปกติหรือความเป็นไปได้ที่ถูกลงโทษ (penalised likelihood) สามารถขยายช่วงที่ใช้งานได้บ้าง

ฉันควรปรับมาตรฐานคุณลักษณะของฉันหรือไม่?

การปรับมาตรฐานคุณลักษณะไม่จำเป็นสำหรับการทำนาย แต่มีความสำคัญเมื่อเปรียบเทียบขนาดสัมประสิทธิ์ระหว่างผู้ทำนาย หรือเมื่อใช้การทำให้เป็นปกติ (L1 หรือ L2) เนื่องจากค่าปรับจะปฏิบัติต่อสัมประสิทธิ์ทั้งหมดในมาตราส่วนเดียวกัน

ความแตกต่างระหว่างการถดถอยโลจิสติกแบบทวิภาคและแบบหลายภาคคืออะไร?

การถดถอยโลจิสติกแบบทวิภาคสร้างแบบจำลองผลลัพธ์สองคลาสโดยใช้ฟังก์ชันซิกมอยด์ การถดถอยโลจิสติกแบบหลายภาค (softmax) ขยายสิ่งนี้ไปยังสามคลาสขึ้นไปที่ไม่มีลำดับ โดยประมาณค่าชุดสัมประสิทธิ์หนึ่งชุดสำหรับแต่ละคลาสเมื่อเทียบกับคลาสอ้างอิง

ฉันจะจัดการกับความไม่สมดุลของคลาสได้อย่างไร?

ตั้งค่า class_weight='balanced' ใน scikit-learn เพื่อปรับน้ำหนักของฟังก์ชันความสูญเสีย หรือทำการสุ่มตัวอย่างเกินของคลาสส่วนน้อย (SMOTE) ควรประเมินผลเสมอด้วย AUC-ROC และเส้นโค้งความแม่นยำ-การเรียกคืน แทนที่จะเป็นความแม่นยำ และปรับแต่งเกณฑ์การจำแนกประเภทบนชุดข้อมูลตรวจสอบ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    ISBN: 978-1-4614-7138-7
    คัดลอกแล้ว