Skip to content
กลับไปยังผลการค้นหา

Semi-supervised Random Forest

ผู้เสนอ
Leistner, C., Saffari, A., Santner, J., & Bischof, H.
ปี
2009
ประเภท
Semi-supervised ensemble classifier
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Semi-supervised Random Forest (SSL-RF) เป็นการต่อยอดจาก Random Forest แบบคลาสสิก โดยใช้ประโยชน์จากทั้งตัวอย่างการฝึกสอนที่มีป้ายกำกับและไม่มีป้ายกำกับ เมื่อการติดป้ายกำกับข้อมูลมีค่าใช้จ่ายสูงหรือใช้เวลานาน SSL-RF จะกำหนดป้ายกำกับเทียมชั่วคราวให้กับข้อมูลที่ไม่มีป้ายกำกับผ่านตัว Forest เอง จากนั้นจึงฝึกสอนใหม่ด้วยชุดข้อมูลที่สมบูรณ์ขึ้น ซึ่งจะช่วยเพิ่มความแม่นยำอย่างต่อเนื่องโดยไม่ต้องมีการระบุป้ายกำกับเพิ่มเติมจากมนุษย์

แนวคิดเบื้องหลังวิธีการ

ลองจินตนาการถึงการขอให้คณะผู้เชี่ยวชาญ (ต้นไม้ของคุณ) จำแนกกรณีต่างๆ แต่ไฟล์กรณีส่วนใหญ่ไม่มีการวินิจฉัยที่ยืนยันแล้ว SSL-RF ให้คณะผู้เชี่ยวชาญลงคะแนนในไฟล์ที่ไม่แน่ใจ ปฏิบัติต่อคะแนนที่มั่นใจว่าเป็นการวินิจฉัยชั่วคราว เพิ่มไฟล์เหล่านั้นลงในกลุ่มการฝึกสอน และฝึกสอนใหม่ — ทำซ้ำจนกว่าคณะผู้เชี่ยวชาญจะบรรจบกัน ตัวอย่างที่มีป้ายกำกับจะนำทาง Forest ในขณะที่ข้อมูลส่วนใหญ่ที่ไม่มีป้ายกำกับจะกำหนดขอบเขตการตัดสินใจในบริเวณที่ข้อมูลที่มีป้ายกำกับเพียงอย่างเดียวไม่สามารถเข้าถึงได้ ซึ่งนำไปสู่การสรุปผลที่ดีขึ้นเมื่อป้ายกำกับมีน้อย

ประวัติศาสตร์

การเรียนรู้แบบกึ่งมีผู้สอน (Semi-supervised learning) ในฐานะสาขาวิชาได้รับการสำรวจอย่างเป็นระบบโดย Xiaojin Zhu (2005) ซึ่งได้สร้างแรงจูงใจทางทฤษฎีสำหรับการใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับ สูตร SSL-RF แบบมาตรฐานถูกนำเสนอโดย Leistner et al. ในงาน ICCV 2009 โดยรวมการแบ่งตามเอนโทรปีเข้ากับการปรับปรุงแบบ Manifold ภายในกรอบงาน Random Forest วิธีการนี้ได้รับความนิยมในด้านคอมพิวเตอร์วิทัศน์และการถ่ายภาพทางการแพทย์ ซึ่งมีค่าใช้จ่ายในการระบุป้ายกำกับสูง และได้มีการขยายเพิ่มเติมด้วยการรวมคุณลักษณะเชิงลึกและรูปแบบการแพร่กระจายป้ายกำกับแบบกราฟ

ควรใช้เมื่อใด

ใช้ Semi-supervised Random Forest เมื่อคุณมีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก แต่การติดป้ายกำกับมีค่าใช้จ่ายสูง หายาก หรือใช้เวลานาน — ซึ่งพบได้บ่อยในการถ่ายภาพทางการแพทย์, การสำรวจระยะไกล, การจำแนกข้อความ และข้อมูลทางชีวภาพ เหมาะสำหรับชุดข้อมูลแบบตาราง, คุณลักษณะที่ได้จากภาพ และชุดข้อมูลแบบผสมที่มีชุดย่อยที่มีป้ายกำกับอย่างน้อยปานกลาง (ประมาณ 5–20% ของข้อมูลทั้งหมด) หลีกเลี่ยงการใช้เมื่อแทบไม่มีป้ายกำกับที่เชื่อถือได้ (Forest เริ่มต้นจะอ่อนแอเกินไปที่จะสร้างป้ายกำกับเทียมที่เป็นประโยชน์) เมื่อขอบเขตของคลาสไม่ราบรื่นอย่างมาก หรือเมื่อโมเดลที่มีการกำกับดูแลอย่างสมบูรณ์สามารถให้ประสิทธิภาพที่น่าพอใจกับชุดข้อมูลที่มีป้ายกำกับของคุณเพียงอย่างเดียว

ข้อจำกัดและข้อควรพิจารณา

  • คุณภาพของป้ายกำกับเทียมขึ้นอยู่กับ Forest ที่มีการกำกับดูแลเริ่มต้น; โมเดลเริ่มต้นที่อ่อนแอจะทำให้ข้อผิดพลาดแพร่กระจายไปตลอดการทำซ้ำครั้งต่อไปทั้งหมด
  • การเลือกเกณฑ์ความเชื่อมั่นไม่ใช่เรื่องง่ายและอาจส่งผลกระทบอย่างมีนัยสำคัญต่อประสิทธิภาพขั้นสุดท้าย
  • ต้นทุนการคำนวณจะเพิ่มขึ้นตามจำนวนตัวอย่างที่ไม่มีป้ายกำกับและจำนวนรอบ โดยเฉพาะอย่างยิ่งสำหรับ Forest ขนาดใหญ่
  • หากการกระจายตัวของข้อมูลที่ไม่มีป้ายกำกับแตกต่างจากข้อมูลที่มีป้ายกำกับ (การเปลี่ยนแปลงของตัวแปรอธิบายร่วม) ป้ายกำกับเทียมอาจมีอคติอย่างเป็นระบบ
  • ไม่รับประกันการบรรจบกัน; การฝึกสอนตัวเองแบบวนซ้ำสามารถขยายการจำแนกประเภทผิดพลาดในช่วงแรกได้หากไม่มีเกณฑ์การหยุดที่ระมัดระวัง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับราคาถูกเพื่อปรับปรุงความแม่นยำให้เหนือกว่าสิ่งที่ข้อมูลที่มีป้ายกำกับเพียงอย่างเดียวสามารถทำได้
  • สืบทอดข้อดีทั้งหมดของ Random Forest: ความทนทาน, ความสำคัญของคุณลักษณะในตัว, และความต้านทานต่อการเกิด Overfitting ผ่านการทำ Bagging
  • เกณฑ์ความเชื่อมั่นที่ยืดหยุ่นช่วยให้คุณควบคุมได้ว่าจะรวมข้อมูลที่ไม่มีป้ายกำกับเข้าด้วยกันอย่างเข้มข้นเพียงใด
  • จัดการกับประเภทคุณลักษณะที่หลากหลาย, ความสัมพันธ์ที่ไม่เป็นเชิงเส้น, และข้อมูลนำเข้าที่มีมิติสูงได้อย่างเป็นธรรมชาติ โดยไม่มีข้อสมมติฐานเกี่ยวกับการกระจายตัว
  • การประมาณค่า Out-of-bag จากส่วนที่มีป้ายกำกับให้สัญญาณการตรวจสอบความถูกต้องแม้จะมีชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก
  • สามารถใช้ได้กับทั้งงานการจำแนกประเภทและการถดถอย โดยมีการเปลี่ยนแปลงอัลกอริทึมเพียงเล็กน้อย

การประยุกต์ใช้

  • การจำแนกภาพทางการแพทย์ที่การระบุป้ายกำกับโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง เช่น พยาธิวิทยาและรังสีวิทยา
  • การสำรวจระยะไกลและการวิเคราะห์ภาพถ่ายดาวเทียมที่มีป้ายกำกับความจริงภาคพื้นดินจำกัด
  • การจัดหมวดหมู่ข้อความและเอกสารเมื่อมีเพียงชุดย่อยของเอกสารเท่านั้นที่สามารถติดป้ายกำกับด้วยตนเองได้
  • การวิเคราะห์ข้อมูลทางชีวภาพและจีโนมิกส์ที่การตรวจสอบความถูกต้องในห้องปฏิบัติการต้องใช้ทรัพยากรมาก
  • การควบคุมคุณภาพทางอุตสาหกรรมที่มีป้ายกำกับข้อบกพร่องกระจัดกระจาย แต่มีข้อมูลการอ่านจากเซ็นเซอร์ที่ไม่มีป้ายกำกับจำนวนมาก
  • การตรวจจับการฉ้อโกงที่กรณีการฉ้อโกงที่ได้รับการยืนยันนั้นหายากเมื่อเทียบกับธุรกรรมที่ไม่มีป้ายกำกับ

วิธีการทำงาน

วิธีการทำงาน

1

กระบวนการเริ่มต้นด้วยชุดข้อมูลที่มีป้ายกำกับขนาดเล็กและชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ ข้อมูลที่มีป้ายกำกับจะสร้างพื้นที่คุณลักษณะเริ่มต้นและการกระจายตัวของคลาส เพื่อให้แน่ใจว่ามีสัญญาณที่เชื่อถือได้อย่างน้อยหนึ่งสัญญาณก่อนที่จะพยายามขั้นตอนการติดป้ายกำกับเทียมใดๆ

2

Random Forest มาตรฐานจะถูกฝึกสอนด้วยข้อมูลที่มีป้ายกำกับเท่านั้น การสุ่มตัวอย่างแบบ Bootstrap และการเลือกคุณลักษณะแบบสุ่มจะถูกนำมาใช้เช่นเดียวกับในกรณีที่มีการกำกับดูแล โดยสร้างชุดรวมที่การคาดการณ์สะท้อนเฉพาะป้ายกำกับที่เป็นความจริงที่มีอยู่ในขั้นตอนนี้

3

Forest ที่ได้รับการฝึกสอนจะคาดการณ์ความน่าจะเป็นของคลาสสำหรับข้อมูลที่ไม่มีป้ายกำกับทุกรายการ ตัวอย่างที่ความน่าจะเป็นที่คาดการณ์ไว้เกินเกณฑ์ความเชื่อมั่น — ซึ่งมักจะปรับแต่งโดยการตรวจสอบข้าม — จะได้รับป้ายกำกับเทียม ตัวอย่างที่มีความเชื่อมั่นต่ำอาจถูกปล่อยทิ้งไว้โดยไม่มีป้ายกำกับหรือให้น้ำหนักน้อยลงเพื่อหลีกเลี่ยงการแพร่กระจายของข้อผิดพลาด

4

Forest จะถูกฝึกสอนใหม่บนกลุ่มข้อมูลรวมของตัวอย่างที่มีป้ายกำกับดั้งเดิมและตัวอย่างที่เพิ่งได้รับป้ายกำกับเทียม การให้น้ำหนักตัวอย่างเพิ่มเติมสามารถลดความสำคัญของข้อมูลที่ได้รับป้ายกำกับเทียมเมื่อเทียบกับป้ายกำกับจริง การปรับปรุงแบบ Manifold หรือเกณฑ์การแบ่งตามเอนโทรปีอาจถูกนำมาใช้ในขั้นตอนนี้ด้วย

5

ขั้นตอนการติดป้ายกำกับเทียมและการฝึกสอนซ้ำจะถูกทำซ้ำตามจำนวนรอบที่กำหนดไว้ หรือจนกว่าการกำหนดป้ายกำกับเทียมจะคงที่ในรอบที่ต่อเนื่องกัน การหยุดก่อนกำหนดจะช่วยป้องกันความมั่นใจที่มากเกินไปจากการสะสมข้อผิดพลาด โดยเฉพาะอย่างยิ่งในสภาพแวดล้อมที่มีสัญญาณรบกวนสูงหรือมีการทับซ้อนสูง

6

การคาดการณ์ขั้นสุดท้ายได้มาจากการรวมคะแนนเสียงจากต้นไม้ทั้งหมดใน Forest ที่ได้รับการฝึกสอนล่าสุด: การลงคะแนนเสียงข้างมากสำหรับการจำแนกประเภท หรือค่าเฉลี่ยสำหรับการถดถอย คะแนนความเชื่อมั่นจาก Forest ยังสามารถใช้เป็นค่าประมาณความไม่แน่นอนที่ปรับเทียบแล้วสำหรับการตัดสินใจในขั้นตอนต่อไป

สูตร
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}

ข้อผิดพลาดที่พบบ่อย

  • การตั้งค่าเกณฑ์ความเชื่อมั่นต่ำเกินไปและทำให้ชุดข้อมูลการฝึกสอนเต็มไปด้วยป้ายกำกับเทียมที่มีสัญญาณรบกวน
  • การละเลยการเปลี่ยนแปลงของตัวแปรอธิบายร่วมระหว่างกลุ่มข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ ซึ่งอาจทำให้ความแม่นยำลดลงแทนที่จะเพิ่มขึ้น
  • การประเมินเฉพาะจากการประมาณค่า Out-of-bag โดยไม่มีชุดข้อมูลทดสอบที่มีป้ายกำกับที่แยกไว้จริง
  • การเรียกใช้การฝึกสอนตัวเองหลายรอบเกินไปโดยไม่มีการหยุดก่อนกำหนด ทำให้เกิดการสะสมข้อผิดพลาดในแต่ละรอบ
  • การปฏิบัติต่อข้อมูลที่ได้รับป้ายกำกับเทียมว่าเชื่อถือได้เท่ากับป้ายกำกับจริง โดยไม่มีการให้น้ำหนักตัวอย่างใดๆ

คำถามที่พบบ่อย

ฉันต้องใช้ข้อมูลที่มีป้ายกำกับเท่าใดในการเริ่มต้น?

ไม่มีขั้นต่ำที่แน่นอน แต่ Forest ที่มีการกำกับดูแลเริ่มต้นต้องแข็งแกร่งพอที่จะสร้างป้ายกำกับเทียมที่เป็นประโยชน์ ในทางปฏิบัติ การมีป้ายกำกับอย่างน้อย 5–10% ของตัวอย่างทั้งหมด — หรือข้อมูลที่มีป้ายกำกับไม่กี่ร้อยรายการ — มักจะให้การคาดการณ์เริ่มต้นที่เชื่อถือได้ หากมีป้ายกำกับน้อยมาก ให้พิจารณาใช้วิธีการ Co-training หรือวิธีการแบบกราฟแทน

ฉันจะเลือกเกณฑ์ความเชื่อมั่นสำหรับการติดป้ายกำกับเทียมได้อย่างไร?

ตรวจสอบข้ามบนชุดข้อมูลที่มีป้ายกำกับโดยใช้ช่วงของค่าเกณฑ์ (เช่น 0.60 ถึง 0.95) และเลือกค่าที่ให้ประสิทธิภาพสูงสุดในการทดสอบ การตั้งค่าเกณฑ์ที่สูงขึ้นจะลดสัญญาณรบกวน แต่ก็ลดปริมาณข้อมูลที่ไม่มีป้ายกำกับที่ใช้ด้วย การเริ่มต้นอย่างระมัดระวังที่ประมาณ 0.80 เป็นแนวทางปฏิบัติทั่วไป

SSL-RF สามารถจัดการกับความไม่สมดุลของคลาสได้หรือไม่?

ได้ แต่ความไม่สมดุลของคลาสในชุดข้อมูลที่มีป้ายกำกับจะแพร่กระจายไปยังป้ายกำกับเทียม ใช้เกณฑ์การแบ่งที่ถ่วงน้ำหนักตามคลาส หรือสุ่มตัวอย่างคลาสส่วนน้อยในกลุ่มข้อมูลที่มีป้ายกำกับก่อนขั้นตอนการฝึกสอนครั้งแรก ตรวจสอบความแม่นยำและการเรียกคืนต่อคลาสแทนที่จะเป็นความแม่นยำโดยรวม

SSL-RF เหมือนกับการฝึกสอนตัวเองด้วย Random Forest เป็นตัวเรียนรู้พื้นฐานหรือไม่?

การฝึกสอนตัวเองเป็นโครงสร้างอัลกอริทึมที่กว้างกว่า; SSL-RF เป็นหนึ่งในการนำไปใช้จริง การนำ SSL-RF ไปใช้ยังอาจรวมเกณฑ์การแบ่งที่ปรับปรุงแบบ Manifold หรือโครงสร้างแบบกราฟ ซึ่งเกินกว่าการฝึกสอนตัวเองแบบวนซ้ำอย่างง่าย

ฉันควรเลือก Gradient Boosting แทน SSL-RF เมื่อใด?

หากข้อมูลทั้งหมดของคุณมีป้ายกำกับ Gradient Boosting มักจะให้ความแม่นยำสูงกว่าและควรเลือกใช้ ใช้ SSL-RF โดยเฉพาะเมื่อสัดส่วนของข้อมูลที่มีป้ายกำกับมีน้อย และมีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากให้ใช้ประโยชน์

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว