การเรียนรู้เชิงรุกที่ผสานกับการเรียนรู้แบบกำกับตนเอง
- ผู้เสนอ
- Multiple authors (active learning + SSL integration, 2020s)
- ปี
- 2020-2022
- ประเภท
- Hybrid learning paradigm
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้เชิงรุก (Active Learning) ที่ผสานกับการเรียนรู้แบบกำกับตนเอง (Self-supervised Learning) ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับผ่านการฝึกฝนล่วงหน้าแบบกำกับตนเองเพื่อสร้างการนำเสนอข้อมูลที่สมบูรณ์ จากนั้นจึงใช้กลยุทธ์การสอบถามเชิงรุกเพื่อเลือกตัวอย่างที่ให้ข้อมูลมากที่สุดสำหรับการกำกับดูแลโดยมนุษย์ ซึ่งจะช่วยเพิ่มประสิทธิภาพของแบบจำลองให้สูงสุดภายใต้งบประมาณการติดป้ายกำกับที่จำกัด แนวทางแบบผสมผสานนี้มีประสิทธิภาพอย่างยิ่งเมื่อข้อมูลที่มีป้ายกำกับมีน้อย แต่มีชุดข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
แนวคิดเบื้องหลังวิธีการ
การเรียนรู้แบบกำกับตนเองสามารถสกัดการนำเสนอข้อมูลที่มีประโยชน์จากข้อมูลดิบที่ไม่มีป้ายกำกับได้โดยการแก้ปัญหา Pretext Tasks เช่น การทำนายส่วนที่ถูกปิดบัง หรือการเปรียบเทียบมุมมองที่ถูกปรับแต่ง เมื่อตัวเข้ารหัส (encoder) ที่แข็งแกร่งได้รับการฝึกฝนล่วงหน้าด้วยวิธีนี้แล้ว การเรียนรู้เชิงรุกจะเข้ามามีบทบาท แทนที่จะติดป้ายกำกับทุกอย่าง จะมีการขอข้อมูลจากผู้ให้ข้อมูล (oracle) เฉพาะตัวอย่างที่ไม่มีป้ายกำกับซึ่งมีความไม่แน่นอนมากที่สุด หรือเป็นตัวแทนมากที่สุดเท่านั้น พื้นที่ฝังตัว (embedding space) ที่สมบูรณ์ของตัวเข้ารหัสทำให้การสอบถามความไม่แน่นอนและความหลากหลายมีความแม่นยำมากกว่าที่ควรจะเป็นจากแบบจำลองที่เริ่มต้นแบบสุ่ม ดังนั้น ตัวอย่างที่มีป้ายกำกับแต่ละตัวจะช่วยปรับปรุงได้มากขึ้น จากนั้นวงจรจะดำเนินต่อไป โดยปรับแต่งตัวเข้ารหัสให้เหมาะสมกับชุดข้อมูลป้ายกำกับใหม่แต่ละชุด
ประวัติศาสตร์
การเรียนรู้เชิงรุกมีรากฐานมาตั้งแต่ทศวรรษ 1990 (Cohn et al., 1996) และการเรียนรู้แบบกำกับตนเองได้ปรากฏขึ้นอย่างเด่นชัดในทศวรรษ 2010 ด้วยวิธีการเปรียบเทียบ การบูรณาการของทั้งสองวิธีเร่งตัวขึ้นในช่วงปี 2020-2022 เมื่อชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่และตัวเข้ารหัส SSL ที่มีประสิทธิภาพ (SimCLR, MoCo, MAE) มีให้ใช้งานอย่างแพร่หลาย นักวิจัยพบว่าการฝึกฝนล่วงหน้าแบบ SSL ช่วยเพิ่มคุณภาพของการฝังตัวที่กลยุทธ์การสอบถามเชิงรุกอาศัยอยู่ได้อย่างมาก นำไปสู่ชุดของเฟรมเวิร์ก AL-SSL แบบผสมที่ศึกษาในด้านคอมพิวเตอร์วิทัศน์และ NLP การผสมผสานนี้เป็นแนวหน้าของการวิจัยในปัจจุบัน โดยเฉพาะอย่างยิ่งในบริบทที่มีทรัพยากรจำกัดและข้อจำกัดด้านการกำกับดูแล
ควรใช้เมื่อใด
ใช้การผสมผสานนี้เมื่อคุณมีชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่และมีงบประมาณที่เข้มงวดสำหรับการกำกับดูแลด้วยตนเอง และเมื่อคุณลักษณะดิบมีความซับซ้อนเพียงพอ (รูปภาพ ข้อความ เสียง สัญญาณมิติสูง) ที่การฝึกฝนล่วงหน้าแบบกำกับตนเองจะเพิ่มคุณค่าในการนำเสนอข้อมูลอย่างมีนัยสำคัญ วิธีนี้จะโดดเด่นในการถ่ายภาพทางการแพทย์ การจำแนกเอกสาร และการสำรวจระยะไกล ซึ่งการติดป้ายกำกับโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง **ห้าม** ใช้เมื่อชุดข้อมูลที่มีป้ายกำกับของคุณมีขนาดใหญ่และเป็นตัวแทนอยู่แล้ว เมื่อโดเมนข้อมูลเป็นข้อมูลตารางธรรมดาที่การฝึกฝนล่วงหน้าแบบ SSL ให้ประโยชน์เพียงเล็กน้อย หรือเมื่อมีข้อจำกัดด้านงบประมาณการคำนวณอย่างรุนแรง — การฝึกฝนล่วงหน้าแบบ SSL ของตัวเข้ารหัสขนาดใหญ่นั้นใช้ทรัพยากรในการคำนวณสูง นอกจากนี้ ควรหลีกเลี่ยงเมื่อชุดข้อมูลที่ไม่มีป้ายกำกับมีขนาดเล็กเมื่อเทียบกับข้อมูลที่มีป้ายกำกับ
ข้อจำกัดและข้อควรพิจารณา
- การฝึกฝนล่วงหน้าแบบกำกับตนเองอาจใช้ทรัพยากรในการคำนวณสูง โดยเฉพาะอย่างยิ่งสำหรับสถาปัตยกรรมตัวเข้ารหัสขนาดใหญ่ เช่น Vision Transformers
- การเรียนรู้เชิงรุกนำเสนอการได้มาซึ่งข้อมูลตามลำดับ ทำให้การประมวลผลแบบขนานทำได้ยากขึ้นและยืดระยะเวลาของกระบวนการกำกับดูแลทั้งหมด
- หากโดเมนการฝึกฝนล่วงหน้าแบบกำกับตนเองและโดเมนงานเป้าหมายแตกต่างกันอย่างมาก การนำเสนอข้อมูลของตัวเข้ารหัสอาจทำให้การเลือกการสอบถามผิดพลาด
- ต้องมีการออกแบบอย่างรอบคอบ: ฟังก์ชันการได้มาซึ่งข้อมูลต้องเข้ากันได้กับสถาปัตยกรรมตัวเข้ารหัสและพื้นที่การฝังตัว
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดจำนวนป้ายกำกับที่จำเป็นเพื่อให้ได้ความแม่นยำเป้าหมายลงอย่างมาก เมื่อเทียบกับแนวทางที่ใช้เฉพาะการเรียนรู้แบบมีผู้สอน (supervised-only) หรือการเรียนรู้เชิงรุกเท่านั้น (active-learning-only)
- การนำเสนอข้อมูลที่ได้จากการเรียนรู้แบบกำกับตนเองช่วยเพิ่มคุณภาพของการสอบถามเชิงรุก โดยการให้ระยะห่างของการฝังตัว (embedding distances) และการประมาณค่าความไม่แน่นอน (uncertainty estimates) ที่มีความหมายตั้งแต่เริ่มต้น
- สามารถถ่ายทอดไปยังโดเมนอื่นได้ดี: ตัวเข้ารหัสที่ฝึกฝนล่วงหน้าแบบกำกับตนเองบนข้อมูลที่ไม่มีป้ายกำกับจากโดเมนหนึ่ง สามารถใช้เป็นจุดเริ่มต้นสำหรับการเรียนรู้เชิงรุกในโดเมนเป้าหมายที่เกี่ยวข้อง
- จัดการกับข้อมูลที่ไม่มีโครงสร้างมิติสูง (รูปภาพ ข้อความ เสียง) ซึ่งฟังก์ชันการได้มาซึ่งข้อมูลของการเรียนรู้เชิงรุกแบบดั้งเดิมทำงานได้ไม่ดีบนคุณลักษณะดิบ
- ทั้งสองกระบวนทัศน์เสริมซึ่งกันและกัน: การนำเสนอข้อมูลที่ดีขึ้นช่วยปรับปรุงการเลือกการสอบถาม; ข้อมูลที่มีป้ายกำกับที่ดีขึ้นช่วยปรับปรุงการนำเสนอข้อมูล
การประยุกต์ใช้
- การกำกับดูแลภาพทางการแพทย์ ซึ่งเวลาของนักรังสีวิทยาเหล่านั้นมีจำกัดและมีคลังภาพสแกนที่ไม่มีป้ายกำกับจำนวนมาก
- การจำแนกเอกสารและข้อความ โดยมีคลังข้อมูลที่มีป้ายกำกับจำกัด แต่มีข้อความดิบจำนวนมาก
- การจำแนกภาพถ่ายระยะไกลและภาพถ่ายดาวเทียมภายใต้งบประมาณการกำกับดูแลที่จำกัด
- การตรวจจับข้อบกพร่องในอุตสาหกรรม ซึ่งตัวอย่างข้อบกพร่องที่มีป้ายกำกับนั้นหายาก แต่ภาพการผลิตปกติมีอยู่มากมาย
- การจำแนกเสียงพูดและเสียง โดยมีคลังเสียงที่ไม่มีป้ายกำกับขนาดใหญ่และการถอดเสียงที่มีค่าใช้จ่ายสูง
- การค้นพบยา: การเลือกโครงสร้างโมเลกุลที่มีข้อมูลมากที่สุดสำหรับการทดสอบในห้องปฏิบัติการ
วิธีการทำงาน
วิธีการทำงาน
ตัวเข้ารหัสแบบกำกับตนเองจะได้รับการฝึกฝนล่วงหน้าบนชุดข้อมูลที่ไม่มีป้ายกำกับทั้งหมดโดยใช้ Pretext Task เช่น Contrastive Learning (SimCLR, MoCo), Masked Autoencoders (MAE), หรือการทำนายการหมุน ในขั้นตอนนี้ไม่จำเป็นต้องมีป้ายกำกับจากมนุษย์ เป้าหมายคือการสร้างพื้นที่คุณลักษณะ (feature space) ที่ตัวอย่างที่มีความหมายคล้ายคลึงกันจะรวมกลุ่มกัน
ฟังก์ชันการได้มาซึ่งข้อมูล (acquisition function) ของการเรียนรู้เชิงรุก เช่น Least-Confidence, Entropy Sampling, BADGE, หรือ Core-set Selection จะประเมินตัวอย่างที่ไม่มีป้ายกำกับแต่ละตัวโดยใช้การทำนายหรือการฝังตัวของตัวเข้ารหัสปัจจุบัน ตัวอย่างที่คาดว่าจะเป็นข้อมูลมากที่สุด (มีความไม่แน่นอน หรือเป็นตัวแทนของพื้นที่ที่ยังไม่ได้สำรวจมากที่สุด) จะถูกจัดอันดับ และเลือกชุดข้อมูลขนาดตามงบประมาณเพื่อทำการกำกับดูแล
ชุดข้อมูลที่เลือกจะถูกนำเสนอต่อผู้ให้คำกำกับดูแล (oracle) ซึ่งให้ป้ายกำกับจริง นี่เป็นเพียงขั้นตอนเดียวที่ก่อให้เกิดค่าใช้จ่ายในการติดป้ายกำกับ ดังนั้นคุณภาพของกลยุทธ์การสอบถามจึงเป็นตัวกำหนดประสิทธิภาพในการติดป้ายกำกับโดยตรง
ตัวเข้ารหัสจะถูกปรับแต่ง (fine-tuned) (หรือมีการฝึกหัวจำแนกประเภทใหม่) บนตัวอย่างที่มีป้ายกำกับทั้งหมดที่สะสมมาจนถึงปัจจุบัน เทคนิคการทำให้เป็นปกติ (regularization) เช่น การประเมินเชิงเส้น (linear evaluation) ตามด้วยการปรับแต่งเต็มรูปแบบช่วยป้องกันการเรียนรู้เกิน (overfitting) บนชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก ในขณะที่ยังคงรักษาการนำเสนอข้อมูลที่ฝึกฝนล่วงหน้าไว้
วงจรการสอบถาม-ติดป้ายกำกับ-ปรับแต่ง จะดำเนินต่อไปจนกว่างบประมาณการติดป้ายกำกับจะหมดลง หรือบรรลุเป้าหมายประสิทธิภาพ ตัวเข้ารหัสอาจได้รับการอัปเดตด้วยข้อมูลที่ไม่มีป้ายกำกับใหม่ระหว่างรอบ หากชุดข้อมูลมีการเปลี่ยนแปลง
ข้อผิดพลาดที่พบบ่อย
- การใช้ฟังก์ชันการได้มาซึ่งข้อมูลทั่วไป (เช่น การสุ่ม) หลังจากการฝึกฝนล่วงหน้าแบบ SSL และเรียกสิ่งนี้ว่าการเรียนรู้เชิงรุก — กลยุทธ์การสอบถามคือสิ่งที่ให้ประโยชน์เพิ่มเติม
- การประเมินเฉพาะแบบจำลองสุดท้ายหลังจากการวนรอบการกำกับดูแลทั้งหมด ซึ่งจะซ่อนว่าการสอบถามในช่วงต้นมีข้อมูลมากจริงหรือไม่
- การมองข้ามการเปลี่ยนแปลงการกระจาย (distribution shift) ระหว่างชุดข้อมูลที่ไม่มีป้ายกำกับและผู้ให้ข้อมูล (oracle) ซึ่งอาจนำไปสู่ความเอนเอียงในการเลือก (selection bias)
- การลืมติดตามค่าใช้จ่ายในการติดป้ายกำกับเป็นแกนหลักของการเปรียบเทียบ — ผลประโยชน์ควรวัดเป็นความแม่นยำเทียบกับงบประมาณการกำกับดูแล ไม่ใช่แค่ความแม่นยำสุดท้าย
- การใช้ตารางเวลาอัตราการเรียนรู้ (learning rate schedule) เดียวกันระหว่างการปรับแต่งเหมือนกับการฝึกฝนล่วงหน้า ซึ่งอาจทำลายการนำเสนอข้อมูลที่ฝึกฝนล่วงหน้า
คำถามที่พบบ่อย
ฉันจำเป็นต้องรันการฝึกฝนล่วงหน้าแบบกำกับตนเองใหม่หลังจากแต่ละรอบของการเรียนรู้เชิงรุกหรือไม่?
ไม่จำเป็นเสมอไป แนวทางปฏิบัติที่พบบ่อยที่สุดคือการฝึกฝนล่วงหน้าหนึ่งครั้งบนชุดข้อมูลที่ไม่มีป้ายกำกับทั้งหมด จากนั้นจึงปรับแต่งตัวเข้ารหัสทีละน้อยด้วยชุดข้อมูลที่มีป้ายกำกับใหม่แต่ละชุด การรันการฝึกฝนล่วงหน้าแบบ SSL เต็มรูปแบบในแต่ละรอบนั้นมีค่าใช้จ่ายในการคำนวณสูงเกินไป บางงานใช้อัปเดต SSL แบบน้ำหนักเบา (เช่น การเรียนรู้แบบเปรียบเทียบออนไลน์) เพื่อปรับการนำเสนอข้อมูลระหว่างวงจร AL
ฟังก์ชันการได้มาซึ่งข้อมูลของการเรียนรู้เชิงรุกแบบใดที่ทำงานได้ดีที่สุดกับ SSL?
กลยุทธ์ที่ใช้การฝังตัว เช่น Core-set Selection, BADGE (Batch Active learning by Diverse Gradient Embeddings), และการสุ่มความหลากหลายตามกลุ่ม (clustering-based diversity sampling) มักจะทำงานได้ดีที่สุด เพราะใช้ประโยชน์จากรูปทรงเรขาคณิตที่มีความหมายของพื้นที่การฝังตัวของ SSL การสุ่มแบบธรรมดาโดยใช้ค่า Entropy จากผลลัพธ์ Softmax ก็ได้รับประโยชน์จาก SSL เช่นกัน แต่ได้ประโยชน์น้อยกว่าการสุ่มแบบทั่วไป
สิ่งนี้แตกต่างจากการเรียนรู้แบบกึ่งมีผู้สอน (semi-supervised learning) อย่างไร?
การเรียนรู้แบบกึ่งมีผู้สอนใช้ข้อมูลที่ไม่มีป้ายกำกับทั้งหมดอย่างเฉื่อย (passively) ในระหว่างการฝึก การเรียนรู้เชิงรุกร่วมกับ SSL นั้นเป็นการโต้ตอบ (interactive): มันเลือกตัวอย่างที่ไม่มีป้ายกำกับอย่างมีกลยุทธ์เพื่อนำเสนอต่อผู้ให้ข้อมูล (oracle) เพื่อทำการกำกับดูแล และอัปเดตแบบจำลองด้วยป้ายกำกับที่เลือกเหล่านั้นเท่านั้น ความแตกต่างที่สำคัญคือวงจรการกำกับดูแลตามลำดับที่คำนึงถึงงบประมาณ
ข้อมูลตาราง (tabular data) เหมาะสมกับแนวทางนี้หรือไม่?
โดยทั่วไปแล้ว ไม่ การฝึกฝนล่วงหน้าแบบกำกับตนเองบนข้อมูลตารางให้ประโยชน์เพียงเล็กน้อยเมื่อเทียบกับรูปภาพหรือข้อความ เนื่องจากไม่มีกลยุทธ์การเพิ่มข้อมูลตามธรรมชาติ (augmentation) หรือการปิดบังส่วน (masking) สำหรับข้อมูลตาราง การเรียนรู้เชิงรุกแบบธรรมดาด้วยแบบจำลองที่มีผู้สอนแบบดั้งเดิม (เช่น logistic regression หรือ random forest) มักจะมีประสิทธิภาพและตีความได้ง่ายกว่า
ฉันควรรายงานตัวชี้วัดใด?
รายงานความแม่นยำ (หรือ F1, AUC) ในฐานะฟังก์ชันของงบประมาณการติดป้ายกำกับ (จำนวนการสอบถามจาก oracle) ไม่ใช่แค่ความแม่นยำสุดท้าย รวมถึงเกณฑ์มาตรฐานแบบสุ่ม (random-sampling baseline) และหากเป็นไปได้ ขอบเขตบนของการเรียนรู้แบบมีผู้สอนเต็มรูปแบบ (fully supervised upper bound) เส้นโค้งประสิทธิภาพการกำกับดูแลนี้คือส่วนสำคัญของการประเมินผลการเรียนรู้เชิงรุกใดๆ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วWang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว