การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนโดยใช้ Gradient Boosting
- ผู้เสนอ
- Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
- ปี
- 2006–2010s
- ประเภท
- Semi-supervised ensemble (self-training + gradient boosted trees)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับ (Semi-supervised gradient boosting) เป็นการผสมผสานต้นไม้ที่เพิ่มประสิทธิภาพด้วยการไล่ระดับสี (gradient boosted trees) เข้ากับการฝึกตนเอง (self-training) หรือการติดป้ายเทียม (pseudo-labeling) เพื่อใช้ประโยชน์จากข้อมูลจำนวนมากที่ไม่มีป้ายกำกับ ควบคู่ไปกับชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก การปรับ GBM เริ่มต้นบนข้อมูลที่มีป้ายกำกับจะกำหนดการทำนายที่มั่นใจให้กับตัวอย่างที่ไม่มีป้ายกำกับ จากนั้นจุดที่มีป้ายกำกับเทียมเหล่านั้นจะถูกนำกลับเข้าสู่การฝึก และแบบจำลองจะถูกปรับปรุงใหม่เป็นลำดับขั้นจนกว่าจะบรรจบกัน วิธีนี้ช่วยให้นักปฏิบัติสามารถใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับซึ่งหาได้ง่าย เมื่อป้ายกำกับมีน้อยหรือมีค่าใช้จ่ายสูง
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพว่าคุณมีแบบสำรวจที่ติดป้ายกำกับ 200 รายการ และแบบสำรวจที่ไม่มีป้ายกำกับ 10,000 รายการ แบบจำลองการเพิ่มประสิทธิภาพด้วยการไล่ระดับสี (gradient boosting model) ที่ฝึกบนข้อมูลที่มีป้ายกำกับ 200 รายการเท่านั้นก็ค่อนข้างดีอยู่แล้ว การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับใช้แบบจำลองนั้นเพื่อจำแนกการตอบกลับที่ไม่มีป้ายกำกับซึ่งแบบจำลองรู้สึกมั่นใจ จากนั้นติดป้ายกำกับชั่วคราว แล้วจึงฝึกใหม่บนชุดข้อมูลที่รวมกันซึ่งมีขนาดใหญ่กว่ามาก วงจรจะดำเนินต่อไป: ในแต่ละรอบ แบบจำลองจะดีขึ้นเนื่องจากเห็นตัวอย่างมากขึ้น และการทำนายที่ดีขึ้นจะแปลเป็นการติดป้ายกำกับเทียมที่มีคุณภาพสูงขึ้นสำหรับรอบถัดไป ข้อมูลส่วนใหญ่ที่ไม่มีป้ายกำกับทำหน้าที่เป็นอุปกรณ์ควบคุมและเพิ่มข้อมูลฟรี
ประวัติศาสตร์
การเรียนรู้แบบกึ่งมีผู้สอนได้รับการจัดระบบในหนังสือของ Chapelle, Scholkopf และ Zien ปี 2006 ของ MIT Press รูปแบบการฝึกตนเอง / การติดป้ายกำกับเทียมมีต้นกำเนิดมาจาก Yarowsky (1995) ใน NLP และต่อมาได้รับการจัดรูปแบบโดย Lee (2013) ในบริบทของเครือข่ายประสาทเทียมเชิงลึก แต่หลักการเดียวกันนี้สามารถนำไปใช้กับ gradient boosted trees ได้โดยตรง CatBoost (Prokhorenkova et al., 2018) ได้นำส่วนขยายแบบกึ่งมีผู้สอนในตัวมาใช้ งานต่อมาได้สำรวจตารางเวลาการติดป้ายกำกับเทียมและการปรับเทียบความเชื่อมั่นโดยเฉพาะสำหรับ GBM ในบริบททางการแพทย์และอุตสาหกรรมตลอดช่วงปี 2010 และ 2020
ควรใช้เมื่อใด
ใช้การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับ เมื่อข้อมูลที่มีป้ายกำกับมีน้อย (เช่น น้อยกว่าสองสามร้อยตัวอย่าง) แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากจากรูปแบบเดียวกัน และการรวบรวมป้ายกำกับเพิ่มเติมมีค่าใช้จ่ายสูง เหมาะสำหรับงานจำแนกประเภทและถดถอยบนตารางที่แบบจำลอง gradient boosted ทำงานได้ดีพอสมควรบนชุดข้อมูลที่มีป้ายกำกับเพียงอย่างเดียว หลีกเลี่ยงเมื่อ: ข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับมาจากรูปแบบที่แตกต่างกัน (การเปลี่ยนแปลงรูปแบบจะขยายข้อผิดพลาด); ความแม่นยำของแบบจำลองพื้นฐานบนข้อมูลที่มีป้ายกำกับต่ำมาก (ป้ายกำกับเทียมที่ไม่ดีจะทำให้การฝึกใหม่เสียหาย); หรือชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่พอที่จะทำให้ GBM มาตรฐานอิ่มตัวได้แล้ว ในกรณีนี้ ค่าใช้จ่ายเพิ่มเติมของกึ่งมีผู้สอนจะให้ประโยชน์เพียงเล็กน้อย
ข้อจำกัดและข้อควรพิจารณา
- คุณภาพของป้ายกำกับเทียมขึ้นอยู่กับแบบจำลองพื้นฐาน แบบจำลองเริ่มต้นที่อ่อนแออาจทำให้การทำซ้ำครั้งต่อไปเสียหาย
- สมมติว่าข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับถูกดึงมาจากรูปแบบเดียวกัน — การละเมิดสิ่งนี้จะทำให้เกิดการขยายข้อผิดพลาด
- การปรับเกณฑ์ความเชื่อมั่น (tau) เพิ่มไฮเปอร์พารามิเตอร์ที่ไม่มีค่าเริ่มต้นตามหลักการ
- ต้นทุนการคำนวณเพิ่มขึ้นตามการทำซ้ำแต่ละครั้งของการฝึกตนเอง โดยเฉพาะอย่างยิ่งกับข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
- การตรวจสอบต้องทำบนข้อมูลที่มีป้ายกำกับเท่านั้น การตรวจสอบไขว้แบบมาตรฐานบนชุดข้อมูลที่เพิ่มขึ้นจะทำให้การประมาณค่าสูงเกินจริง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับราคาถูกเพื่อปรับปรุงประสิทธิภาพเมื่อป้ายกำกับมีราคาแพงหรือหายาก
- เข้ากันได้กับการใช้งาน gradient boosting ใดๆ (XGBoost, LightGBM, CatBoost, scikit-learn) โดยไม่ต้องเปลี่ยนแปลงสถาปัตยกรรม
- การกำหนดเกณฑ์ความเชื่อมั่นให้ช่องทางการควบคุมคุณภาพในตัวที่จำกัดสัญญาณรบกวนของป้ายกำกับเทียม
- รักษาพลังการทำนายเต็มรูปแบบและการสร้างแบบจำลองปฏิสัมพันธ์ของคุณลักษณะของต้นไม้ที่เพิ่มประสิทธิภาพด้วยการไล่ระดับสี
- การปรับปรุงแบบวนซ้ำช่วยให้สามารถรวมข้อมูลที่ไม่มีป้ายกำกับได้อย่างต่อเนื่องเมื่อแบบจำลองดีขึ้น
การประยุกต์ใช้
- การวินิจฉัยทางการแพทย์ที่บันทึกผู้ป่วยที่มีป้ายกำกับมีจำกัด แต่มีบันทึกทางคลินิกที่ไม่มีป้ายกำกับจำนวนมาก
- การตรวจจับข้อบกพร่องในอุตสาหกรรมโดยใช้ตัวอย่างข้อผิดพลาดที่มีป้ายกำกับจำนวนเล็กน้อยและกระแสการผลิตที่ไม่มีป้ายกำกับจำนวนมาก
- การจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึกด้วยตัวอย่างเริ่มต้นที่มีป้ายกำกับซึ่งเสริมด้วยคลังข้อมูลที่ไม่มีป้ายกำกับ
- การให้คะแนนเครดิตเมื่อมีเพียงส่วนเล็กๆ ของใบสมัครในอดีตที่มีผลลัพธ์การผิดนัดที่ยืนยันแล้ว
- การจำแนกประเภทการสำรวจระยะไกลและภูมิสารสนเทศ โดยรวมการวัดภาคสนามที่มีป้ายกำกับจำนวนเล็กน้อยเข้ากับคุณลักษณะภาพถ่ายดาวเทียมที่ไม่มีป้ายกำกับจำนวนมาก
วิธีการทำงาน
วิธีการทำงาน
แบบจำลองการเพิ่มประสิทธิภาพด้วยการไล่ระดับสีมาตรฐาน (XGBoost, LightGBM, CatBoost, scikit-learn GBM, etc.) จะถูกฝึกบนตัวอย่างที่มีป้ายกำกับที่มีอยู่ โดยใช้การลดค่าความสูญเสียแบบมีผู้สอนตามมาตรฐาน แบบจำลองพื้นฐานนี้ต้องมีความแม่นยำในระดับปานกลางเป็นอย่างน้อย เพื่อให้การติดป้ายกำกับเทียมช่วยได้ แทนที่จะสร้างความเสียหาย
แบบจำลองพื้นฐานจะถูกนำไปใช้กับตัวอย่างที่ไม่มีป้ายกำกับแต่ละรายการ การทำนายที่เกินเกณฑ์ความเชื่อมั่น tau (เช่น ความน่าจะเป็นที่ทำนายได้สูงกว่า 0.9 สำหรับการจำแนกประเภท หรือการทำนายภายในช่วงที่แคบสำหรับการถดถอย) จะถูกยอมรับว่าเป็นป้ายกำกับเทียม การกรองด้วยความเชื่อมั่นสูงจะจำกัดการแพร่กระจายของข้อผิดพลาดในรอบแรกๆ
สูตร
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tauตัวอย่างที่มีป้ายกำกับเทียมที่ยอมรับได้จะถูกผนวกเข้ากับชุดข้อมูลฝึกอบรมที่มีป้ายกำกับ โดยอาจมีน้ำหนักน้อยกว่า 1.0 เพื่อสะท้อนถึงที่มาที่ไม่แน่นอน ตอนนี้ชุดข้อมูลที่รวมกันมีขนาดใหญ่ขึ้นอย่างมากและอาจครอบคลุมพื้นที่คุณลักษณะได้ดีขึ้น
แบบจำลองการเพิ่มประสิทธิภาพด้วยการไล่ระดับสีใหม่จะถูกฝึกตั้งแต่ต้น (หรือเริ่มต้นแบบอุ่นเครื่อง) บนชุดข้อมูลที่เพิ่มขึ้น เนื่องจาก gradient boosting มีลักษณะเป็นลำดับขั้นและไวต่อสัญญาณรบกวนของป้ายกำกับ การตรวจสอบค่าความสูญเสียบนชุดข้อมูลที่มีป้ายกำกับที่แยกไว้จึงมีความสำคัญอย่างยิ่งในการตรวจจับการเสื่อมสภาพที่เกิดจากป้ายกำกับเทียมที่มีสัญญาณรบกวน
ขั้นตอนที่ 2 ถึง 4 จะทำซ้ำเป็นจำนวนรอบที่กำหนด หรือจนกว่าจะบรรจบกัน ซึ่งกำหนดโดยการเปลี่ยนแปลงเล็กน้อยในเมตริกการตรวจสอบ หรือไม่มีตัวอย่างที่ไม่มีป้ายกำกับใหม่ที่ผ่านเกณฑ์ความเชื่อมั่น ในแต่ละรอบ เกณฑ์ความเชื่อมั่นอาจถูกผ่อนปรนลงเรื่อยๆ เพื่อรวมข้อมูลป้ายกำกับเทียมให้มากขึ้น
ข้อผิดพลาดที่พบบ่อย
- การใช้ข้อมูลที่มีป้ายกำกับเทียมในส่วนการตรวจสอบ ซึ่งให้ค่าประมาณประสิทธิภาพที่มองโลกในแง่ดีเกินจริง
- การตั้งค่าเกณฑ์ความเชื่อมั่นต่ำเกินไปในรอบแรกๆ ทำให้การฝึกใหม่เต็มไปด้วยป้ายกำกับที่มีสัญญาณรบกวนและทำให้เกิดการถ่ายโอนเชิงลบ
- การเพิกเฉยต่อการเปลี่ยนแปลงรูปแบบระหว่างข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ ซึ่งอาจทำให้ประสิทธิภาพลดลงต่ำกว่าเกณฑ์มาตรฐานแบบมีผู้สอน
- การไม่กำหนดน้ำหนักให้กับตัวอย่างที่มีป้ายกำกับเทียมต่ำกว่า 1.0 ทำให้การทำนายที่ไม่แน่นอนมีสถานะเท่าเทียมกับป้ายกำกับที่มนุษย์ตรวจสอบแล้ว
- การหยุดที่การติดป้ายกำกับเทียมเพียงรอบเดียว แทนที่จะทำซ้ำจนกว่าจะบรรจบกัน
คำถามที่พบบ่อย
ฉันจะเลือกเกณฑ์ความเชื่อมั่นได้อย่างไร?
เริ่มต้นอย่างระมัดระวัง — สำหรับการจำแนกประเภทแบบทวิภาค ค่าที่สูงกว่า 0.9 เป็นเรื่องปกติในรอบที่ 1 ตรวจสอบความแม่นยำของการตรวจสอบชุดข้อมูลที่มีป้ายกำกับหลังแต่ละรอบ และค่อยๆ ผ่อนปรนเกณฑ์ความเชื่อมั่นเฉพาะเมื่อประสิทธิภาพยังคงเดิมหรือดีขึ้น ไม่มีค่าที่เป็นหลักการเดียว ให้ถือว่าเป็นไฮเปอร์พารามิเตอร์ที่ปรับแต่งได้
ควรให้ป้ายกำกับเทียมมีน้ำหนักเท่ากับป้ายกำกับจริงหรือไม่?
โดยทั่วไปแล้ว ไม่ การกำหนดน้ำหนักน้อยกว่า 1.0 (เช่น 0.5) ให้กับตัวอย่างที่มีป้ายกำกับเทียมจะลดอิทธิพลของการทำนายที่ไม่แน่นอนต่อฟังก์ชันความสูญเสีย การใช้งานบางอย่างเชื่อมโยงน้ำหนักกับความเชื่อมั่นที่แบบจำลองทำนาย โดยให้น้ำหนักที่สูงกว่าแก่ป้ายกำกับเทียมที่มีความเชื่อมั่นสูงกว่า
เมื่อใดที่การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับทำให้ประสิทธิภาพแย่ลง?
มันจะแย่ลงเมื่อแบบจำลองเริ่มต้นอ่อนแอเกินไปที่จะสร้างป้ายกำกับเทียมที่เชื่อถือได้ เมื่อข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับแตกต่างกันในรูปแบบ หรือเมื่อชุดข้อมูลที่ไม่มีป้ายกำกับมีขนาดเล็กเมื่อเทียบกับชุดข้อมูลที่มีป้ายกำกับ ในสถานการณ์เหล่านี้ GBM แบบมีผู้สอนมาตรฐานบนข้อมูลที่มีป้ายกำกับเพียงอย่างเดียวมักจะปลอดภัยกว่า
นี่แตกต่างจากโหมดกึ่งมีผู้สอนในตัวของ CatBoost หรือไม่?
CatBoost ใช้การฝึกแบบกึ่งมีผู้สอนโดยธรรมชาติ โดยการปรับฟังก์ชันความสูญเสียแบบมีผู้สอนบนข้อมูลที่มีป้ายกำกับ และฟังก์ชันความสูญเสียแบบไม่มีผู้สอนหรือป้ายกำกับเทียมบนข้อมูลที่ไม่มีป้ายกำกับให้เหมาะสมที่สุดภายในรอบการฝึกเดียว ซึ่งอาจมีความเสถียรมากกว่าการติดป้ายกำกับเทียมภายนอกแบบวนซ้ำ ลูปการฝึกตนเองด้วยตนเองมีความทั่วไปมากกว่าและทำงานร่วมกับไลบรารี GBM ใดๆ
ต้องใช้การทำซ้ำการติดป้ายกำกับเทียมนานเท่าใด?
โดยทั่วไป 3 ถึง 10 รอบก็เพียงพอแล้ว การบรรจบกันจะตรวจพบเมื่อเมตริกการตรวจสอบของชุดข้อมูลที่มีป้ายกำกับหยุดการปรับปรุง หรือจำนวนป้ายกำกับเทียมที่ยอมรับใหม่ลดลงจนเกือบเป็นศูนย์ การทำซ้ำมากขึ้นมีความเสี่ยงที่จะสะสมข้อผิดพลาดของป้ายกำกับเทียม
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วChapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9คัดลอกแล้ว