การถดถอยโลจิสติกแบบกึ่งกำกับดูแล
- ผู้เสนอ
- Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
- ปี
- 1995–2000
- ประเภท
- Semi-supervised classifier
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การถดถอยโลจิสติกแบบกึ่งกำกับดูแล (Semi-supervised logistic regression) เป็นการขยายขอบเขตของตัวจำแนกโลจิสติกมาตรฐาน โดยการรวมข้อมูลที่ไม่มีป้ายกำกับ (unlabeled data) เข้ามาในกระบวนการฝึกฝน โดยใช้เทคนิคเสริม เช่น self-training, expectation-maximization (EM), หรือ label-propagation ในการกำหนดป้ายกำกับแบบอ่อน (soft labels) ให้กับข้อมูลที่ไม่มีป้ายกำกับแบบวนซ้ำ และปรับปรุงพารามิเตอร์ของแบบจำลอง ซึ่งช่วยเพิ่มความสามารถในการสรุปผล (generalization) เมื่อข้อมูลที่มีป้ายกำกับมีจำนวนน้อยเมื่อเทียบกับชุดข้อมูลทั้งหมด
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการฝึกตัวจำแนกโรคโดยมีเพียง 50 การวินิจฉัยที่ได้รับการยืนยัน แต่มีบันทึกผู้ป่วย 5,000 รายที่ผลลัพธ์ยังไม่ทราบ การถดถอยโลจิสติกแบบมาตรฐานจะละเลยบันทึกที่ไม่มีป้ายกำกับเหล่านั้นทั้งหมด แต่การถดถอยโลจิสติกแบบกึ่งกำกับดูแลจะใช้การทำนายความน่าจะเป็นของแบบจำลองเองในการกำหนดป้ายกำกับเบื้องต้นให้กับกรณีที่ไม่มีป้ายกำกับ จากนั้นจึงฝึกฝนใหม่บนชุดข้อมูลที่เพิ่มป้ายกำกับเสมือน (pseudo-labeled set) และทำซ้ำขั้นตอนนี้ การทำซ้ำแต่ละครั้งจะค่อยๆ เลื่อนเส้นแบ่งการตัดสินใจ (decision boundary) ไปยังบริเวณที่มีความหนาแน่นของข้อมูลสูง ซึ่งเป็นการปล่อยให้ข้อมูลที่ไม่มีป้ายกำกับชี้นำตำแหน่งของเส้นแบ่งโดยไม่ต้องอาศัยการติดป้ายกำกับโดยผู้เชี่ยวชาญที่มีค่าใช้จ่ายสูง
ประวัติศาสตร์
การเรียนรู้แบบกึ่งกำกับดูแลสำหรับตัวจำแนกประเภทเชิงความน่าจะเป็นได้รับการทำให้เป็นระบบในช่วงปลายทศวรรษ 1990 Yarowsky (1995) ทำให้เทคนิค self-training เป็นที่นิยมสำหรับงาน NLP และ Nigam et al. (2000) ได้สร้างกรอบการทำงาน EM สำหรับการจำแนกประเภทข้อความด้วยแบบจำลอง naive Bayes และแบบจำลองคล้ายโลจิสติก หนังสือปี 2006 ของ Chapelle, Scholkopf, และ Zien จาก MIT Press ได้รวบรวมรากฐานทางทฤษฎี การถดถอยโลจิสติกแบบกึ่งกำกับดูแลเป็นเทคนิคมาตรฐานในปัจจุบันสำหรับสถานการณ์ที่มีงบประมาณการติดป้ายกำกับจำกัด ซึ่งถูกนำไปใช้ในตัวห่อหุ้ม SelfTrainingClassifier ของ scikit-learn และไลบรารี SSL โดยเฉพาะ
ควรใช้เมื่อใด
เลือกใช้การถดถอยโลจิสติกแบบกึ่งกำกับดูแลเมื่อข้อมูลที่มีป้ายกำกับมีจำนวนน้อย โดยทั่วไปเมื่อสัดส่วนของข้อมูลที่มีป้ายกำกับน้อยกว่า 20% ของข้อมูลทั้งหมดที่มีอยู่ แต่มีข้อมูลจำนวนมากที่ไม่มีป้ายกำกับจาก การแจกแจงเดียวกัน (distribution) และการติดป้ายกำกับมีค่าใช้จ่ายสูง เหมาะสำหรับงานจำแนกประเภทข้อความ (text classification), การทำนายผลลัพธ์ทางคลินิก (clinical outcome prediction), และการวิจัยสำรวจ (survey research) ที่ผลลัพธ์ถูกสังเกตเพียงบางส่วน อย่าใช้เมื่อข้อมูลที่ไม่มีป้ายกำกับมาจากการแจกแจงที่แตกต่างจากชุดข้อมูลที่มีป้ายกำกับ (covariate shift), เมื่อป้ายกำกับหายไปไม่สุ่ม (missing not at random) และการหายไปนั้นมีข้อมูล, หรือเมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่พอที่การถดถอยโลจิสติกมาตรฐานให้ประสิทธิภาพที่ดีแล้ว ในกรณีเหล่านั้น สัญญาณรบกวนจากป้ายกำกับเสมือนจะก่อให้เกิดความเสียหายมากกว่าประโยชน์
ข้อจำกัดและข้อควรพิจารณา
- หากข้อมูลที่มีป้ายกำกับเริ่มต้นมีน้อยเกินไปหรือไม่เป็นตัวแทนที่ดี ป้ายกำกับเสมือนในช่วงแรกจะเต็มไปด้วยสัญญาณรบกวนและข้อผิดพลาดจะสะสมไปเรื่อยๆ ในแต่ละรอบการทำซ้ำ
- สมมติฐานว่าข้อมูลที่ไม่มีป้ายกำกับถูกดึงมาจากการแจกแจงเดียวกันกับข้อมูลที่มีป้ายกำกับ ซึ่งมักถูกละเมิดในสถานการณ์การรวบรวมข้อมูลในโลกแห่งความเป็นจริง
- การบรรจบกันที่จุดเหมาะสมที่สุดเฉพาะที่ (local optimum) ไม่รับประกันว่าจะดีกว่าแบบจำลองภายใต้การกำกับดูแล (supervised baseline)
- เกณฑ์ความเชื่อมั่นในเทคนิค self-training ต้องการการปรับแต่งและมีปฏิสัมพันธ์กับความไม่สมดุลของคลาส (class imbalance) ในลักษณะที่ไม่ชัดเจน
- การตีความสัมประสิทธิ์จะยากขึ้น เนื่องจากชุดข้อมูลฝึกฝนที่มีผลรวมประกอบด้วยป้ายกำกับที่สร้างขึ้นด้วยอัลกอริทึม
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้ประโยชน์จากข้อมูลจำนวนมากที่ไม่มีป้ายกำกับเพื่อปรับปรุงตัวจำแนกโลจิสติกโดยไม่มีค่าใช้จ่ายในการติดป้ายกำกับเพิ่มเติม
- รักษาความสามารถในการตีความสัมประสิทธิ์การถดถอยโลจิสติกและอัตราต่อรอง (odds ratios)
- ตัวห่อหุ้ม (wrapper) แบบ Self-training ไม่ขึ้นกับแบบจำลอง (model-agnostic) และง่ายต่อการเพิ่มเข้าไปในไปป์ไลน์การถดถอยโลจิสติกที่มีอยู่
- รูปแบบ EM ให้กรอบการทำงานเชิงความน่าจะเป็นที่มีหลักการพร้อมการรับประกันการบรรจบกันอย่างเป็นทางการ
- สามารถรวมเรกูลาไรเซชัน (L1/L2) เข้าด้วยกันได้อย่างตรงไปตรงมาเพื่อควบคุมการเรียนรู้เกิน (overfitting) บนข้อมูลที่มีป้ายกำกับเสมือน
การประยุกต์ใช้
- การทำนายผลลัพธ์ทางคลินิกที่ผู้ป่วยเพียงบางส่วนได้รับการวินิจฉัยที่ยืนยันแล้ว
- การจำแนกประเภทข้อความด้วยคลังข้อความขนาดใหญ่และชุดข้อมูลฝึกฝนขนาดเล็กที่ติดป้ายกำกับโดยผู้เชี่ยวชาญ
- การวิจัยสำรวจที่ผู้ตอบแบบสอบถามตอบคำถามเกี่ยวกับผลลัพธ์เพียงบางส่วน
- การวิเคราะห์ความรู้สึก (sentiment analysis) และการทำเหมืองความคิดเห็น (opinion mining) ด้วยข้อมูลโซเชียลมีเดียที่ติดป้ายกำกับบางส่วน
- การตรวจจับการฉ้อโกง (fraud detection) ที่กรณีการฉ้อโกงที่ยืนยันแล้วมีน้อย แต่ปริมาณธุรกรรมมีขนาดใหญ่
- การศึกษาภาพทางการแพทย์ (medical imaging studies) ที่มีป้ายกำกับจากรังสีแพทย์สำหรับสแกนบางส่วน
วิธีการทำงาน
วิธีการทำงาน
แบบจำลองการถดถอยโลจิสติกมาตรฐานจะถูกปรับให้เหมาะสมกับข้อมูลที่มีป้ายกำกับที่มีอยู่ ซึ่งให้ค่าประมาณสัมประสิทธิ์เริ่มต้น (initial coefficient estimates) และค่าประมาณความน่าจะเป็นของคลาส (class-probability estimates) สำหรับการสังเกตแต่ละรายการ แม้จะมีป้ายกำกับน้อย แต่การเริ่มต้นที่อบอุ่น (warm start) นี้จะสร้างเส้นแบ่งการตัดสินใจเริ่มต้นที่สมเหตุสมผล ซึ่งการทำซ้ำในภายหลังจะปรับปรุงให้ดีขึ้น
แบบจำลองที่ฝึกฝนแล้วจะให้คะแนนข้อมูลที่ไม่มีป้ายกำกับแต่ละรายการ โดยสร้างความน่าจะเป็นภายหลัง (posterior probability) P(y=k | x) สำหรับแต่ละคลาส ในเทคนิค self-training ข้อมูลที่มีความน่าจะเป็นสูงสุดเกินเกณฑ์ความเชื่อมั่น (confidence threshold) จะได้รับป้ายกำกับเสมือนแบบแข็ง (hard pseudo-label) ในแนวทางที่ใช้ EM จะมีการกำหนดค่าการเป็นสมาชิกแบบเศษส่วนแบบอ่อน (soft fractional memberships) แทนคลาสแบบแข็ง ซึ่งยังคงรักษาความไม่แน่นอนไว้อย่างชัดเจนตลอดกระบวนการ
สูตร
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)การถดถอยโลจิสติกจะถูกปรับให้เหมาะสมอีกครั้งบนชุดข้อมูลที่รวมกันของข้อมูลที่มีป้ายกำกับจริงและข้อมูลที่ไม่มีป้ายกำกับซึ่งมีป้ายกำกับเสมือน (หรือป้ายกำกับอ่อน) จะมีการใช้เรกูลาไรเซชัน (regularization) เช่น L1 หรือ L2 เพื่อป้องกันไม่ให้ชุดข้อมูลที่ขยายใหญ่ขึ้นผลักดันสัมประสิทธิ์ไปสู่สัญญาณป้ายกำกับเสมือนที่มีสัญญาณรบกวนมากเกินไป
ขั้นตอนการให้คะแนนข้อมูลที่ไม่มีป้ายกำกับและการฝึกฝนใหม่จะถูกทำซ้ำจนกว่าจะบรรจบกัน (convergence) โดยทั่วไปคือเมื่อการเปลี่ยนแปลงของ log-likelihood หรือค่าสัมประสิทธิ์ระหว่างการทำซ้ำลดลงต่ำกว่าค่าความคลาดเคลื่อนเล็กน้อย รูปแบบ EM จะสลับระหว่างขั้นตอน E (การคำนวณป้ายกำกับที่คาดหวัง) และขั้นตอน M (การทำให้ log-likelihood ของข้อมูลสมบูรณ์สูงสุด) อย่างเป็นทางการ
เมื่อบรรจบกันแล้ว แบบจำลองสุดท้ายจะถูกประเมินบนชุดข้อมูลทดสอบที่มีป้ายกำกับที่แยกไว้ โดยใช้เมตริกมาตรฐาน เช่น ความแม่นยำ (accuracy), AUC, และ F1 การตรวจสอบไขว้ (Cross-validation) จะต้องดำเนินการเฉพาะกับส่วนที่มีป้ายกำกับเท่านั้น เพื่อหลีกเลี่ยงการรั่วไหลของป้ายกำกับจากกลุ่มข้อมูลที่ไม่มีป้ายกำกับไปยังค่าประมาณการตรวจสอบ
ข้อผิดพลาดที่พบบ่อย
- การรวมข้อมูลที่ไม่มีป้ายกำกับในชุดข้อมูลตรวจสอบหรือชุดข้อมูลทดสอบ ซึ่งจะทำให้ค่าประมาณประสิทธิภาพสูงเกินจริงเนื่องจากการรั่วไหลของข้อมูลการแจกแจง
- การตั้งค่าเกณฑ์ความเชื่อมั่นต่ำซึ่งทำให้ชุดข้อมูลฝึกฝนเต็มไปด้วยป้ายกำกับเสมือนที่ไม่แน่นอน และทำให้ข้อผิดพลาดในช่วงแรกสะสม
- การละเลยความไม่สมดุลของคลาสเมื่อกำหนดป้ายกำกับเสมือน ทำให้คลาสส่วนใหญ่ครอบงำการทำซ้ำต่อเนื่อง
- การปฏิบัติต่อข้อมูลที่มีป้ายกำกับเสมือนเหมือนกับข้อมูลที่มีป้ายกำกับจริงในการวัดปริมาณความไม่แน่นอน (uncertainty quantification) หรือการทดสอบนัยสำคัญ (significance testing) ในขั้นตอนถัดไป
- การละเว้นเรกูลาไรเซชันบนชุดข้อมูลฝึกฝนที่ขยายใหญ่ขึ้น ทำให้สัญญาณรบกวนจากป้ายกำกับเสมือนนำไปสู่การเรียนรู้เกิน
คำถามที่พบบ่อย
การถดถอยโลจิสติกแบบกึ่งกำกับดูแลแตกต่างจากการถดถอยโลจิสติกมาตรฐานอย่างไร
การถดถอยโลจิสติกมาตรฐานใช้เฉพาะข้อมูลที่มีป้ายกำกับเท่านั้น ส่วนรูปแบบกึ่งกำกับดูแลจะกำหนดป้ายกำกับเบื้องต้นให้กับข้อมูลที่ไม่มีป้ายกำกับแบบวนซ้ำและรวมเข้ากับการฝึกฝนใหม่ ดังนั้นเส้นแบ่งการตัดสินใจจึงถูกกำหนดโดยทั้งป้ายกำกับที่ยืนยันแล้วและโครงสร้างของชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่
ฉันควรใช้เกณฑ์ความเชื่อมั่นเท่าใดสำหรับเทคนิค self-training
จุดเริ่มต้นทั่วไปคือ 0.85–0.95 สำหรับการจำแนกประเภทแบบทวิภาค (binary classification) เกณฑ์ที่เหมาะสมขึ้นอยู่กับความสมดุลของคลาสและคุณภาพของป้ายกำกับ ปรับแต่งเกณฑ์บนชุดข้อมูลตรวจสอบที่มีป้ายกำกับ และตรวจสอบสัดส่วนของข้อมูลที่ไม่มีป้ายกำกับที่ถูกเพิ่มเข้ามาในแต่ละรอบการทำซ้ำเพื่อหลีกเลี่ยงการท่วมท้นของป้ายกำกับเสมือนที่ไม่แน่นอน
ฉันยังสามารถตีความสัมประสิทธิ์เป็นอัตราต่อรองได้หรือไม่
ได้ แต่ต้องระมัดระวัง สัมประสิทธิ์ที่ประมาณค่าได้ยังคงการตีความในรูปของ log-odds แต่ช่วงความเชื่อมั่น (confidence intervals) จะถูกประเมินต่ำเกินไป เนื่องจากข้อมูลที่มีป้ายกำกับเสมือนถูกปฏิบัติต่อเหมือนเป็นข้อมูลจริง การอนุมานเกี่ยวกับนัยสำคัญ (significance) ควรอาศัยเฉพาะส่วนที่มีป้ายกำกับจริงเท่านั้น
จะเกิดอะไรขึ้นหากข้อมูลที่ไม่มีป้ายกำกับของฉันมาจากช่วงเวลาหรือแหล่งที่มาที่แตกต่างกัน
การเปลี่ยนแปลงการแจกแจงระหว่างชุดข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับเป็นหนึ่งในโหมดความล้มเหลวหลัก หากข้อมูลที่ไม่มีป้ายกำกับมาจากประชากรหรือช่วงเวลาที่แตกต่างกัน ป้ายกำกับเสมือนอาจเสริมข้อผิดพลาดที่เป็นระบบได้ ตรวจสอบการเปลี่ยนแปลงของตัวแปร (covariate shift) ก่อนดำเนินการ
มีส่วนนำไปใช้งานที่พร้อมใช้งานหรือไม่
มี scikit-learn's SelfTrainingClassifier ห่อหุ้มตัวจำแนกประเภทเชิงความน่าจะเป็นใดๆ รวมถึง LogisticRegression สำหรับเทคนิค self-training รูปแบบ EM ต้องการการนำไปใช้งานด้วยตนเองหรือไลบรารี SSL เฉพาะ เช่น SKSSL หรือ LASSL
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วChapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9คัดลอกแล้ว