Skip to content
กลับไปยังผลการค้นหา

การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนโดยใช้ Gradient Boosting

ผู้เสนอ
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
ปี
2006–2010s
ประเภท
Semi-supervised ensemble (self-training + gradient boosted trees)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับ (Semi-supervised gradient boosting) เป็นการผสมผสานต้นไม้ที่เพิ่มประสิทธิภาพด้วยการไล่ระดับสี (gradient boosted trees) เข้ากับการฝึกตนเอง (self-training) หรือการติดป้ายเทียม (pseudo-labeling) เพื่อใช้ประโยชน์จากข้อมูลจำนวนมากที่ไม่มีป้ายกำกับ ควบคู่ไปกับชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก การปรับ GBM เริ่มต้นบนข้อมูลที่มีป้ายกำกับจะกำหนดการทำนายที่มั่นใจให้กับตัวอย่างที่ไม่มีป้ายกำกับ จากนั้นจุดที่มีป้ายกำกับเทียมเหล่านั้นจะถูกนำกลับเข้าสู่การฝึก และแบบจำลองจะถูกปรับปรุงใหม่เป็นลำดับขั้นจนกว่าจะบรรจบกัน วิธีนี้ช่วยให้นักปฏิบัติสามารถใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับซึ่งหาได้ง่าย เมื่อป้ายกำกับมีน้อยหรือมีค่าใช้จ่ายสูง

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพว่าคุณมีแบบสำรวจที่ติดป้ายกำกับ 200 รายการ และแบบสำรวจที่ไม่มีป้ายกำกับ 10,000 รายการ แบบจำลองการเพิ่มประสิทธิภาพด้วยการไล่ระดับสี (gradient boosting model) ที่ฝึกบนข้อมูลที่มีป้ายกำกับ 200 รายการเท่านั้นก็ค่อนข้างดีอยู่แล้ว การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับใช้แบบจำลองนั้นเพื่อจำแนกการตอบกลับที่ไม่มีป้ายกำกับซึ่งแบบจำลองรู้สึกมั่นใจ จากนั้นติดป้ายกำกับชั่วคราว แล้วจึงฝึกใหม่บนชุดข้อมูลที่รวมกันซึ่งมีขนาดใหญ่กว่ามาก วงจรจะดำเนินต่อไป: ในแต่ละรอบ แบบจำลองจะดีขึ้นเนื่องจากเห็นตัวอย่างมากขึ้น และการทำนายที่ดีขึ้นจะแปลเป็นการติดป้ายกำกับเทียมที่มีคุณภาพสูงขึ้นสำหรับรอบถัดไป ข้อมูลส่วนใหญ่ที่ไม่มีป้ายกำกับทำหน้าที่เป็นอุปกรณ์ควบคุมและเพิ่มข้อมูลฟรี

ประวัติศาสตร์

การเรียนรู้แบบกึ่งมีผู้สอนได้รับการจัดระบบในหนังสือของ Chapelle, Scholkopf และ Zien ปี 2006 ของ MIT Press รูปแบบการฝึกตนเอง / การติดป้ายกำกับเทียมมีต้นกำเนิดมาจาก Yarowsky (1995) ใน NLP และต่อมาได้รับการจัดรูปแบบโดย Lee (2013) ในบริบทของเครือข่ายประสาทเทียมเชิงลึก แต่หลักการเดียวกันนี้สามารถนำไปใช้กับ gradient boosted trees ได้โดยตรง CatBoost (Prokhorenkova et al., 2018) ได้นำส่วนขยายแบบกึ่งมีผู้สอนในตัวมาใช้ งานต่อมาได้สำรวจตารางเวลาการติดป้ายกำกับเทียมและการปรับเทียบความเชื่อมั่นโดยเฉพาะสำหรับ GBM ในบริบททางการแพทย์และอุตสาหกรรมตลอดช่วงปี 2010 และ 2020

ควรใช้เมื่อใด

ใช้การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับ เมื่อข้อมูลที่มีป้ายกำกับมีน้อย (เช่น น้อยกว่าสองสามร้อยตัวอย่าง) แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากจากรูปแบบเดียวกัน และการรวบรวมป้ายกำกับเพิ่มเติมมีค่าใช้จ่ายสูง เหมาะสำหรับงานจำแนกประเภทและถดถอยบนตารางที่แบบจำลอง gradient boosted ทำงานได้ดีพอสมควรบนชุดข้อมูลที่มีป้ายกำกับเพียงอย่างเดียว หลีกเลี่ยงเมื่อ: ข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับมาจากรูปแบบที่แตกต่างกัน (การเปลี่ยนแปลงรูปแบบจะขยายข้อผิดพลาด); ความแม่นยำของแบบจำลองพื้นฐานบนข้อมูลที่มีป้ายกำกับต่ำมาก (ป้ายกำกับเทียมที่ไม่ดีจะทำให้การฝึกใหม่เสียหาย); หรือชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่พอที่จะทำให้ GBM มาตรฐานอิ่มตัวได้แล้ว ในกรณีนี้ ค่าใช้จ่ายเพิ่มเติมของกึ่งมีผู้สอนจะให้ประโยชน์เพียงเล็กน้อย

ข้อจำกัดและข้อควรพิจารณา

  • คุณภาพของป้ายกำกับเทียมขึ้นอยู่กับแบบจำลองพื้นฐาน แบบจำลองเริ่มต้นที่อ่อนแออาจทำให้การทำซ้ำครั้งต่อไปเสียหาย
  • สมมติว่าข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับถูกดึงมาจากรูปแบบเดียวกัน — การละเมิดสิ่งนี้จะทำให้เกิดการขยายข้อผิดพลาด
  • การปรับเกณฑ์ความเชื่อมั่น (tau) เพิ่มไฮเปอร์พารามิเตอร์ที่ไม่มีค่าเริ่มต้นตามหลักการ
  • ต้นทุนการคำนวณเพิ่มขึ้นตามการทำซ้ำแต่ละครั้งของการฝึกตนเอง โดยเฉพาะอย่างยิ่งกับข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
  • การตรวจสอบต้องทำบนข้อมูลที่มีป้ายกำกับเท่านั้น การตรวจสอบไขว้แบบมาตรฐานบนชุดข้อมูลที่เพิ่มขึ้นจะทำให้การประมาณค่าสูงเกินจริง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับราคาถูกเพื่อปรับปรุงประสิทธิภาพเมื่อป้ายกำกับมีราคาแพงหรือหายาก
  • เข้ากันได้กับการใช้งาน gradient boosting ใดๆ (XGBoost, LightGBM, CatBoost, scikit-learn) โดยไม่ต้องเปลี่ยนแปลงสถาปัตยกรรม
  • การกำหนดเกณฑ์ความเชื่อมั่นให้ช่องทางการควบคุมคุณภาพในตัวที่จำกัดสัญญาณรบกวนของป้ายกำกับเทียม
  • รักษาพลังการทำนายเต็มรูปแบบและการสร้างแบบจำลองปฏิสัมพันธ์ของคุณลักษณะของต้นไม้ที่เพิ่มประสิทธิภาพด้วยการไล่ระดับสี
  • การปรับปรุงแบบวนซ้ำช่วยให้สามารถรวมข้อมูลที่ไม่มีป้ายกำกับได้อย่างต่อเนื่องเมื่อแบบจำลองดีขึ้น

การประยุกต์ใช้

  • การวินิจฉัยทางการแพทย์ที่บันทึกผู้ป่วยที่มีป้ายกำกับมีจำกัด แต่มีบันทึกทางคลินิกที่ไม่มีป้ายกำกับจำนวนมาก
  • การตรวจจับข้อบกพร่องในอุตสาหกรรมโดยใช้ตัวอย่างข้อผิดพลาดที่มีป้ายกำกับจำนวนเล็กน้อยและกระแสการผลิตที่ไม่มีป้ายกำกับจำนวนมาก
  • การจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึกด้วยตัวอย่างเริ่มต้นที่มีป้ายกำกับซึ่งเสริมด้วยคลังข้อมูลที่ไม่มีป้ายกำกับ
  • การให้คะแนนเครดิตเมื่อมีเพียงส่วนเล็กๆ ของใบสมัครในอดีตที่มีผลลัพธ์การผิดนัดที่ยืนยันแล้ว
  • การจำแนกประเภทการสำรวจระยะไกลและภูมิสารสนเทศ โดยรวมการวัดภาคสนามที่มีป้ายกำกับจำนวนเล็กน้อยเข้ากับคุณลักษณะภาพถ่ายดาวเทียมที่ไม่มีป้ายกำกับจำนวนมาก

วิธีการทำงาน

วิธีการทำงาน

1

แบบจำลองการเพิ่มประสิทธิภาพด้วยการไล่ระดับสีมาตรฐาน (XGBoost, LightGBM, CatBoost, scikit-learn GBM, etc.) จะถูกฝึกบนตัวอย่างที่มีป้ายกำกับที่มีอยู่ โดยใช้การลดค่าความสูญเสียแบบมีผู้สอนตามมาตรฐาน แบบจำลองพื้นฐานนี้ต้องมีความแม่นยำในระดับปานกลางเป็นอย่างน้อย เพื่อให้การติดป้ายกำกับเทียมช่วยได้ แทนที่จะสร้างความเสียหาย

2

แบบจำลองพื้นฐานจะถูกนำไปใช้กับตัวอย่างที่ไม่มีป้ายกำกับแต่ละรายการ การทำนายที่เกินเกณฑ์ความเชื่อมั่น tau (เช่น ความน่าจะเป็นที่ทำนายได้สูงกว่า 0.9 สำหรับการจำแนกประเภท หรือการทำนายภายในช่วงที่แคบสำหรับการถดถอย) จะถูกยอมรับว่าเป็นป้ายกำกับเทียม การกรองด้วยความเชื่อมั่นสูงจะจำกัดการแพร่กระจายของข้อผิดพลาดในรอบแรกๆ

สูตร
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

ตัวอย่างที่มีป้ายกำกับเทียมที่ยอมรับได้จะถูกผนวกเข้ากับชุดข้อมูลฝึกอบรมที่มีป้ายกำกับ โดยอาจมีน้ำหนักน้อยกว่า 1.0 เพื่อสะท้อนถึงที่มาที่ไม่แน่นอน ตอนนี้ชุดข้อมูลที่รวมกันมีขนาดใหญ่ขึ้นอย่างมากและอาจครอบคลุมพื้นที่คุณลักษณะได้ดีขึ้น

4

แบบจำลองการเพิ่มประสิทธิภาพด้วยการไล่ระดับสีใหม่จะถูกฝึกตั้งแต่ต้น (หรือเริ่มต้นแบบอุ่นเครื่อง) บนชุดข้อมูลที่เพิ่มขึ้น เนื่องจาก gradient boosting มีลักษณะเป็นลำดับขั้นและไวต่อสัญญาณรบกวนของป้ายกำกับ การตรวจสอบค่าความสูญเสียบนชุดข้อมูลที่มีป้ายกำกับที่แยกไว้จึงมีความสำคัญอย่างยิ่งในการตรวจจับการเสื่อมสภาพที่เกิดจากป้ายกำกับเทียมที่มีสัญญาณรบกวน

5

ขั้นตอนที่ 2 ถึง 4 จะทำซ้ำเป็นจำนวนรอบที่กำหนด หรือจนกว่าจะบรรจบกัน ซึ่งกำหนดโดยการเปลี่ยนแปลงเล็กน้อยในเมตริกการตรวจสอบ หรือไม่มีตัวอย่างที่ไม่มีป้ายกำกับใหม่ที่ผ่านเกณฑ์ความเชื่อมั่น ในแต่ละรอบ เกณฑ์ความเชื่อมั่นอาจถูกผ่อนปรนลงเรื่อยๆ เพื่อรวมข้อมูลป้ายกำกับเทียมให้มากขึ้น

ข้อผิดพลาดที่พบบ่อย

  • การใช้ข้อมูลที่มีป้ายกำกับเทียมในส่วนการตรวจสอบ ซึ่งให้ค่าประมาณประสิทธิภาพที่มองโลกในแง่ดีเกินจริง
  • การตั้งค่าเกณฑ์ความเชื่อมั่นต่ำเกินไปในรอบแรกๆ ทำให้การฝึกใหม่เต็มไปด้วยป้ายกำกับที่มีสัญญาณรบกวนและทำให้เกิดการถ่ายโอนเชิงลบ
  • การเพิกเฉยต่อการเปลี่ยนแปลงรูปแบบระหว่างข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ ซึ่งอาจทำให้ประสิทธิภาพลดลงต่ำกว่าเกณฑ์มาตรฐานแบบมีผู้สอน
  • การไม่กำหนดน้ำหนักให้กับตัวอย่างที่มีป้ายกำกับเทียมต่ำกว่า 1.0 ทำให้การทำนายที่ไม่แน่นอนมีสถานะเท่าเทียมกับป้ายกำกับที่มนุษย์ตรวจสอบแล้ว
  • การหยุดที่การติดป้ายกำกับเทียมเพียงรอบเดียว แทนที่จะทำซ้ำจนกว่าจะบรรจบกัน

คำถามที่พบบ่อย

ฉันจะเลือกเกณฑ์ความเชื่อมั่นได้อย่างไร?

เริ่มต้นอย่างระมัดระวัง — สำหรับการจำแนกประเภทแบบทวิภาค ค่าที่สูงกว่า 0.9 เป็นเรื่องปกติในรอบที่ 1 ตรวจสอบความแม่นยำของการตรวจสอบชุดข้อมูลที่มีป้ายกำกับหลังแต่ละรอบ และค่อยๆ ผ่อนปรนเกณฑ์ความเชื่อมั่นเฉพาะเมื่อประสิทธิภาพยังคงเดิมหรือดีขึ้น ไม่มีค่าที่เป็นหลักการเดียว ให้ถือว่าเป็นไฮเปอร์พารามิเตอร์ที่ปรับแต่งได้

ควรให้ป้ายกำกับเทียมมีน้ำหนักเท่ากับป้ายกำกับจริงหรือไม่?

โดยทั่วไปแล้ว ไม่ การกำหนดน้ำหนักน้อยกว่า 1.0 (เช่น 0.5) ให้กับตัวอย่างที่มีป้ายกำกับเทียมจะลดอิทธิพลของการทำนายที่ไม่แน่นอนต่อฟังก์ชันความสูญเสีย การใช้งานบางอย่างเชื่อมโยงน้ำหนักกับความเชื่อมั่นที่แบบจำลองทำนาย โดยให้น้ำหนักที่สูงกว่าแก่ป้ายกำกับเทียมที่มีความเชื่อมั่นสูงกว่า

เมื่อใดที่การเพิ่มประสิทธิภาพแบบกึ่งมีผู้สอนด้วยการไล่ระดับสีแบบไล่ระดับทำให้ประสิทธิภาพแย่ลง?

มันจะแย่ลงเมื่อแบบจำลองเริ่มต้นอ่อนแอเกินไปที่จะสร้างป้ายกำกับเทียมที่เชื่อถือได้ เมื่อข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับแตกต่างกันในรูปแบบ หรือเมื่อชุดข้อมูลที่ไม่มีป้ายกำกับมีขนาดเล็กเมื่อเทียบกับชุดข้อมูลที่มีป้ายกำกับ ในสถานการณ์เหล่านี้ GBM แบบมีผู้สอนมาตรฐานบนข้อมูลที่มีป้ายกำกับเพียงอย่างเดียวมักจะปลอดภัยกว่า

นี่แตกต่างจากโหมดกึ่งมีผู้สอนในตัวของ CatBoost หรือไม่?

CatBoost ใช้การฝึกแบบกึ่งมีผู้สอนโดยธรรมชาติ โดยการปรับฟังก์ชันความสูญเสียแบบมีผู้สอนบนข้อมูลที่มีป้ายกำกับ และฟังก์ชันความสูญเสียแบบไม่มีผู้สอนหรือป้ายกำกับเทียมบนข้อมูลที่ไม่มีป้ายกำกับให้เหมาะสมที่สุดภายในรอบการฝึกเดียว ซึ่งอาจมีความเสถียรมากกว่าการติดป้ายกำกับเทียมภายนอกแบบวนซ้ำ ลูปการฝึกตนเองด้วยตนเองมีความทั่วไปมากกว่าและทำงานร่วมกับไลบรารี GBM ใดๆ

ต้องใช้การทำซ้ำการติดป้ายกำกับเทียมนานเท่าใด?

โดยทั่วไป 3 ถึง 10 รอบก็เพียงพอแล้ว การบรรจบกันจะตรวจพบเมื่อเมตริกการตรวจสอบของชุดข้อมูลที่มีป้ายกำกับหยุดการปรับปรุง หรือจำนวนป้ายกำกับเทียมที่ยอมรับใหม่ลดลงจนเกือบเป็นศูนย์ การทำซ้ำมากขึ้นมีความเสี่ยงที่จะสะสมข้อผิดพลาดของป้ายกำกับเทียม

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    คัดลอกแล้ว