Active Learning LightGBM
- ผู้เสนอ
- Settles, B. (active learning); Ke, G. et al. (LightGBM)
- ปี
- 2017–present
- ประเภท
- Hybrid (active learning query strategy + gradient boosting classifier)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Active Learning LightGBM เป็นการผสมผสานกลยุทธ์การเลือกข้อมูลที่สอบถามอย่างมีประสิทธิภาพของ Active Learning เข้ากับความเร็วและความแม่นยำของ LightGBM ซึ่งเป็นเฟรมเวิร์ก Gradient Boosting แบบอิงฮิสโตแกรม โมเดลจะเลือกอินสแตนซ์ที่ไม่มีป้ายกำกับซึ่งให้ข้อมูลมากที่สุดสำหรับการใส่คำอธิบายประกอบโดยมนุษย์เป็นรอบๆ ฝึกฝน LightGBM ใหม่บนชุดข้อมูลที่มีป้ายกำกับที่เพิ่มขึ้น และลู่เข้าสู่ความแม่นยำสูงโดยใช้ตัวอย่างที่มีป้ายกำกับน้อยกว่าการเรียนรู้แบบมีผู้สอนแบบพาสซีฟมาก
แนวคิดเบื้องหลังวิธีการ
การติดป้ายกำกับข้อมูลมีค่าใช้จ่ายสูง Active Learning LightGBM แก้ปัญหานี้โดยใช้โมเดล LightGBM ปัจจุบันเพื่อระบุว่าตัวอย่างที่ไม่มีป้ายกำกับใดที่โมเดลมีความไม่แน่นอนมากที่สุด — ตัวอย่างที่อยู่ใกล้ขอบเขตการตัดสินใจหรือมีเอนโทรปีการทำนายสูงสุด — และขอคำอธิบายประกอบจากมนุษย์เฉพาะตัวอย่างเหล่านั้นเท่านั้น เนื่องจาก LightGBM ฝึกฝนได้รวดเร็วและให้การประมาณค่าความน่าจะเป็นที่ปรับเทียบอย่างดีผ่าน Gradient Boosting สัญญาณความไม่แน่นอนนี้จึงเชื่อถือได้ ในหลายๆ รอบการสอบถาม โมเดลจะเรียนรู้ว่าต้องการข้อมูลที่ไหนมากที่สุด โดยสร้างความแม่นยำด้วยความพยายามในการใส่คำอธิบายประกอบน้อยที่สุด
ประวัติศาสตร์
Active learning ในฐานะสาขาวิชาได้รับการจัดระบบโดย Settles (2012) โดยอิงจากงานก่อนหน้านี้เกี่ยวกับการสุ่มตัวอย่างแบบเลือก (selective sampling) และการเรียนรู้แบบสอบถาม (query learning) ในช่วงทศวรรษ 1990 LightGBM ถูกนำเสนอโดย Ke และคณะที่ NeurIPS 2017 ในฐานะการใช้งาน Gradient Boosting ที่มีประสิทธิภาพสูงโดยใช้การแบ่งแบบฮิสโตแกรมและการเติบโตแบบ leaf-wise การผสมผสานนี้ได้รับความนิยมในการเรียนรู้ของเครื่องประยุกต์ตั้งแต่ประมาณปี 2018 เป็นต้นไป โดยเฉพาะอย่างยิ่งในการใส่คำอธิบายประกอบข้อความทางการแพทย์ การสำรวจระยะไกล และการควบคุมคุณภาพทางอุตสาหกรรม ซึ่งต้นทุนการติดป้ายกำกับสูงและข้อมูลตารางหรือข้อมูลที่มีคุณลักษณะมากมายมีอยู่
ควรใช้เมื่อใด
ใช้ Active Learning LightGBM เมื่อต้นทุนการใส่คำอธิบายประกอบเป็นข้อจำกัดหลัก: มีกลุ่มข้อมูลตารางที่ไม่มีป้ายกำกับขนาดใหญ่ แต่การติดป้ายกำกับแต่ละอินสแตนซ์มีค่าใช้จ่ายด้านเวลาหรือเงิน และต้องการความแม่นยำระดับ LightGBM เหมาะอย่างยิ่งเมื่อการกระจายตัวของคลาสไม่สมดุล หรือข้อมูลที่ไม่มีป้ายกำกับมีมากมาย แต่ข้อมูลที่มีป้ายกำกับมีน้อย อย่าใช้เมื่อสามารถติดป้ายกำกับชุดข้อมูลทั้งหมดได้โดยมีค่าใช้จ่ายต่ำ เมื่อข้อมูลมาถึงเป็นชุดข้อมูลที่มีป้ายกำกับทั้งหมด (การเรียนรู้แบบพาสซีฟก็เพียงพอ) เมื่อผู้เชี่ยวชาญ (ผู้ติดป้ายกำกับ) ไม่น่าเชื่อถือหรือไม่พร้อมใช้งานแบบโต้ตอบ หรือเมื่อความสามารถในการตีความของการตัดสินใจแต่ละครั้งมีความสำคัญอย่างยิ่งโดยไม่มีเครื่องมือหลังการวิเคราะห์
ข้อจำกัดและข้อควรพิจารณา
- กลยุทธ์การสอบถามและเกณฑ์การหยุดต้องได้รับการคัดเลือกอย่างระมัดระวัง การเลือกผิดจะทำให้งบประมาณการติดป้ายกำกับสูญเปล่า
- แต่ละรอบจะมีการหน่วงเวลาหากฝึกฝนใหม่ทั้งหมด ชุดข้อมูลขนาดใหญ่ที่มีหลายรอบอาจช้า
- ประสิทธิภาพขึ้นอยู่กับผู้เชี่ยวชาญที่น่าเชื่อถือ ป้ายกำกับของมนุษย์ที่มีสัญญาณรบกวนหรือไม่สอดคล้องกันจะทำให้โมเดลเสื่อมสภาพอย่างรวดเร็ว
- ไม่เหมาะสำหรับการใช้งานแบบสตรีมมิ่งหรือออนไลน์ล้วนๆ หากไม่มีการปรับให้เข้ากับการฝึกฝน LightGBM แบบเพิ่มทีละน้อย
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดความพยายามในการใส่คำอธิบายประกอบลงอย่างมากโดยมุ่งเน้นการติดป้ายกำกับที่อินสแตนซ์ที่มีข้อมูลมากที่สุด
- ความเร็วของ LightGBM ช่วยให้สามารถฝึกฝนใหม่ได้อย่างรวดเร็วระหว่างรอบการสอบถาม ทำให้เวิร์กโฟลว์แบบโต้ตอบสามารถทำได้จริง
- จัดการข้อมูลตารางที่มีมิติสูงได้ดี รวมถึงคุณลักษณะหมวดหมู่ผ่านการสนับสนุนดั้งเดิมของ LightGBM
- เข้ากันได้กับกลยุทธ์การสอบถามหลายแบบ (การสุ่มตัวอย่างความไม่แน่นอน, ขอบเขต, เอนโทรปี, การสอบถามจากคณะกรรมการ)
- จัดการความไม่สมดุลของคลาสโดยธรรมชาติผ่านพารามิเตอร์ class-weight และ scale-pos-weight ของ LightGBM
การประยุกต์ใช้
- การใส่คำอธิบายประกอบเวชระเบียนและ NLP ทางคลินิก ซึ่งการติดป้ายกำกับโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง
- การจำแนกประเภทภาพถ่ายระยะไกลและภาพถ่ายดาวเทียมที่มีการครอบคลุมภาคพื้นดินบางส่วน
- การตรวจจับข้อบกพร่องทางอุตสาหกรรมบนข้อมูลเซ็นเซอร์แบบตารางพร้อมการตรวจสอบด้วยตนเองที่มีค่าใช้จ่ายสูง
- การตรวจจับการฉ้อโกงและการให้คะแนนความเสี่ยงด้วยป้ายกำกับที่ยืนยันการฉ้อโกงที่จำกัด
- การคัดกรองวรรณกรรมทางวิทยาศาสตร์ในการทบทวนอย่างเป็นระบบเพื่อจัดลำดับความสำคัญของเอกสารสำหรับการอ่านฉบับเต็ม
วิธีการทำงาน
วิธีการทำงาน
ชุดข้อมูลเริ่มต้นที่มีป้ายกำกับจำนวนเล็กน้อยถูกสุ่มเลือกจากข้อมูลที่มีอยู่ สิ่งเหล่านี้จะสร้างกลุ่มการฝึกอบรมเริ่มต้น อินสแตนซ์ที่ไม่มีป้ายกำกับที่เหลือจะสร้างกลุ่มการสอบถามซึ่งโมเดลจะร้องขอคำอธิบายประกอบในรอบถัดไป
LightGBM ถูกฝึกฝนบนกลุ่มข้อมูลที่มีป้ายกำกับปัจจุบันโดยใช้การเติบโตของต้นไม้แบบ leaf-wise ที่อิงฮิสโตแกรม ซึ่งให้การฝึกอบรมที่รวดเร็วและประสิทธิภาพการทำนายที่แข็งแกร่งแม้ในชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก การประมาณค่าความน่าจะเป็นสำหรับแต่ละคลาสจะถูกสร้างขึ้นสำหรับอินสแตนซ์ทั้งหมดในกลุ่มข้อมูลที่ไม่มีป้ายกำกับ
ฟังก์ชันการได้มา (acquisition function) ให้คะแนนทุกอินสแตนซ์ที่ไม่มีป้ายกำกับตามข้อมูลที่ได้ — โดยทั่วไปคือเอนโทรปีการทำนาย H(y|x), การสุ่มตัวอย่างขอบเขต (margin sampling), หรือความขัดแย้งในการสอบถามจากคณะกรรมการ (query-by-committee disagreement) อินสแตนซ์ที่มีคะแนนสูงสุดจะถูกเลือกสำหรับการใส่คำอธิบายประกอบในรอบนี้
สูตร
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})อินสแตนซ์ที่เลือกจะถูกนำเสนอต่อผู้เชี่ยวชาญ (oracle) ซึ่งเป็นผู้เชี่ยวชาญเฉพาะด้าน แพลตฟอร์มการจัดหาฝูงชน หรือผู้ติดป้ายกำกับอัตโนมัติ ซึ่งจะให้ป้ายกำกับคลาสที่แท้จริง นี่เป็นขั้นตอนเดียวที่ต้องใช้ข้อมูลภายนอก ค่าใช้จ่ายและความน่าเชื่อถือมีผลโดยตรงต่อจำนวนรอบการสอบถามที่เป็นไปได้
อินสแตนซ์ที่มีป้ายกำกับใหม่จะถูกเพิ่มเข้าไปในกลุ่มการฝึกอบรม และ LightGBM จะถูกฝึกฝนใหม่ทั้งหมด (หรืออัปเดตแบบเพิ่มทีละน้อยหากรองรับ) วงจรจะซ้ำไปเรื่อยๆ จนกว่าจะถึงงบประมาณการติดป้ายกำกับ เกณฑ์ความแม่นยำ หรือจำนวนรอบการสอบถามสูงสุด
ข้อผิดพลาดที่พบบ่อย
- การประเมินประสิทธิภาพเฉพาะบนชุดข้อมูลที่มีป้ายกำกับที่เลือกโดยอัตโนมัติ ซึ่งมีอคติต่อตัวอย่างที่ยาก — ควรแยกชุดทดสอบแบบสุ่มออกเสมอก่อนเริ่มลูป AL
- การละเลยความไวต่อการเริ่มต้น (cold-start sensitivity): หากชุดเริ่มต้นเล็กเกินไปหรือไม่เป็นตัวแทน การสอบถามในช่วงต้นอาจทำให้เข้าใจผิดได้
- การใช้ความน่าจะเป็นที่ไม่ได้ปรับเทียบเป็นคะแนนความไม่แน่นอนโดยไม่ได้ตรวจสอบการปรับเทียบของ LightGBM (การปรับเทียบแบบ Platt หรือการถดถอยแบบไอโซโทนิกช่วยได้)
- การปฏิบัติต่อกลุ่มข้อมูลที่มีป้ายกำกับเป็น i.i.d. เมื่อรายงานเมตริกการสรุปผล — ชุดข้อมูลที่สุ่มเลือกไม่ใช่ตัวอย่างแบบสุ่มของประชากร
คำถามที่พบบ่อย
กลยุทธ์การสอบถามใดที่ทำงานได้ดีที่สุดกับ LightGBM?
การสุ่มตัวอย่างความไม่แน่นอนผ่านเอนโทรปีการทำนายเป็นจุดเริ่มต้นที่พบบ่อยที่สุด เนื่องจาก LightGBM ให้ความน่าจะเป็นของคลาสโดยตรง การสุ่มตัวอย่างขอบเขต (ผลต่างระหว่างความน่าจะเป็นของสองคลาสสูงสุด) มักจะมีความทนทานมากกว่าเมื่อจำนวนคลาสไม่เท่ากันมาก การสอบถามจากคณะกรรมการต้องฝึกฝนโมเดลหลายตัว แต่สามารถลดอคติจากค่าประมาณความไม่แน่นอนของโมเดลเดียวได้
ต้องใช้ตัวอย่างที่มีป้ายกำกับกี่ตัวจึงจะเริ่มต้นได้?
จำเป็นต้องมีชุดเริ่มต้นอย่างน้อยหนึ่งตัวอย่างต่อคลาส ในทางปฏิบัติ 10–50 อินสแตนซ์ที่มีป้ายกำกับที่เลือกแบบสุ่มต่อคลาสจะให้สัญญาณเพียงพอแก่ LightGBM เพื่อสร้างค่าประมาณความไม่แน่นอนที่มีความหมายสำหรับรอบการสอบถามแรก
ฉันควรฝึกฝน LightGBM ใหม่ทั้งหมดทุกรอบหรือไม่?
การฝึกฝนใหม่ทั้งหมดช่วยให้แน่ใจว่าโมเดลสะท้อนชุดข้อมูลที่มีป้ายกำกับที่อัปเดตอย่างเต็มที่และเป็นแนวทางปฏิบัติมาตรฐาน สำหรับชุดข้อมูลขนาดใหญ่มากหรือหลายรอบ มีแนวทางแบบเพิ่มทีละน้อย แต่ต้องระมัดระวังเพื่อหลีกเลี่ยงการเปลี่ยนแปลงของโมเดล
ฉันจะรู้ได้อย่างไรว่าเมื่อใดควรหยุดการสอบถาม?
กฎการหยุดทั่วไป ได้แก่: การถึงงบประมาณการติดป้ายกำกับที่กำหนด, ความแม่นยำของชุดตรวจสอบที่แยกออกคงที่ในช่วงหลายรอบ หรือคะแนนความไม่แน่นอนสูงสุดลดลงต่ำกว่าเกณฑ์ การตรวจสอบประสิทธิภาพของชุดทดสอบแบบสุ่มที่แยกออกในช่วงหลายรอบเป็นตัวบ่งชี้ที่น่าเชื่อถือที่สุด
Active Learning LightGBM เหมือนกับ Semi-Supervised Learning หรือไม่?
ไม่ Semi-Supervised Learning ใช้ข้อมูลที่ไม่มีป้ายกำกับโดยตรงในการฝึกฝน (เช่น pseudo-labels หรือ consistency regularization) Active Learning จะสอบถามผู้เชี่ยวชาญเพื่อรับป้ายกำกับที่แท้จริงสำหรับอินสแตนซ์ที่ไม่มีป้ายกำกับที่เลือก ข้อมูลที่ไม่มีป้ายกำกับที่ไม่มีป้ายกำกับที่ถูกสอบถามจะไม่ถูกนำมาใช้ในการฝึกฝน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วKe, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว