Skip to content
กลับไปยังผลการค้นหา

การเรียนรู้เชิงรุกแบบซ้อนทับกลุ่มตัวแบบ

ผู้เสนอ
Wolpert, D. H. (stacking); Settles, B. (active learning survey)
ปี
1992–2012
ประเภท
Hybrid (active learning + stacked ensemble)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Active Learning Stacking Ensemble เป็นการผสมผสานระหว่างวงจรการสอบถามแบบ active learning กับเทคนิค stacked generalization โดยมีชุดข้อมูลที่ไม่มีป้ายกำกับ (unlabeled data) ให้เลือกใช้ และโมเดลจะเลือกตัวอย่างที่ให้ข้อมูลมากที่สุดเป็นลำดับขั้นเพื่อการติดป้ายกำกับโดยมนุษย์ (human labeling) โดยใช้ป้ายกำกับเหล่านั้นเพื่อฝึกฝนและปรับปรุง stacking ensemble ซึ่งประกอบด้วย base learners หลายตัวและมี meta-learner เป็นตัวครอบ การใช้วิธีการนี้ช่วยลดต้นทุนการติดป้ายกำกับ พร้อมทั้งเพิ่มประสิทธิภาพการทำนายของ ensemble ให้สูงสุด

แนวคิดเบื้องหลังวิธีการ

การติดป้ายกำกับข้อมูลมีค่าใช้จ่ายสูง Active learning จึงตั้งคำถามว่า: ตัวอย่างที่ไม่มีป้ายกำกับใดที่จะสอนโมเดลได้มากที่สุด? โดยการวัดความไม่แน่นอน (uncertainty) หรือความขัดแย้ง (disagreement) ในหมู่ base learners ของ stacking ensemble ระบบสามารถแนะนำผู้ติดป้ายกำกับที่เป็นมนุษย์ไปยังตัวอย่างที่ ensemble มีความสับสนมากที่สุด ตัวอย่างที่ติดป้ายกำกับใหม่แต่ละรายการจะถูกป้อนกลับเข้าสู่กระบวนการ stacking เพื่อปรับปรุงทั้ง base learners และ meta-learner ผลลัพธ์ที่ได้คือ ensemble ที่แข็งแกร่งซึ่งสร้างขึ้นโดยใช้ป้ายกำกับน้อยกว่าที่จำเป็นสำหรับการฝึกฝนแบบ supervised ทั่วไปอย่างมาก

ประวัติศาสตร์

Stacked generalization ถูกนำเสนอโดย David Wolpert ในปี 1992 ในฐานะวิธีการรวม base learners ที่หลากหลายผ่าน meta-learner Active learning ในฐานะกรอบการทำงานที่เป็นระบบสำหรับการเลือกตัวอย่างที่ให้ข้อมูลได้รับการสำรวจอย่างครอบคลุมโดย Burr Settles ในปี 2012 การผสมผสาน — การใช้กลยุทธ์การสอบถามแบบ active กับสถาปัตยกรรม ensemble หรือ stacking — เกิดขึ้นในช่วงปี 2000 และ 2010 เมื่อนักวิจัยพยายามลดต้นทุนการติดป้ายกำกับสำหรับโมเดลที่ซับซ้อน และปัจจุบันเป็นกระบวนทัศน์ที่ได้รับการยอมรับในด้าน machine learning ที่ใช้ทรัพยากรน้อยและมีประสิทธิภาพในการติดป้ายกำกับ

ควรใช้เมื่อใด

ใช้ Active Learning Stacking Ensemble เมื่อข้อมูลที่มีป้ายกำกับมีจำกัดหรือมีค่าใช้จ่ายสูงในการได้มา มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก และต้องการความแม่นยำในการทำนายสูง วิธีการนี้มีคุณค่าอย่างยิ่งในโดเมนต่างๆ เช่น การติดป้ายกำกับทางการแพทย์ การจำแนกเอกสารทางกฎหมาย และการติดป้ายกำกับภาพทางวิทยาศาสตร์ ซึ่งเวลาของผู้เชี่ยวชาญมีจำกัด อย่าใช้วิธีการนี้เมื่อข้อมูลทั้งหมดสามารถติดป้ายกำกับได้ง่าย — stacking แบบมาตรฐานจะง่ายกว่าและมีประสิทธิภาพเท่าเทียมกัน หลีกเลี่ยงเมื่อกลุ่มข้อมูลที่ไม่มีป้ายกำกับมีขนาดเล็ก (การเลือกแบบ active ให้ประโยชน์น้อย) หรือเมื่อต้องการการทำนายแบบเรียลไทม์ระหว่างวงจรการสอบถาม เนื่องจากกระบวนการฝึกฝน stack ใหม่หลังจากการสอบถามแต่ละครั้งมีค่าใช้จ่ายในการคำนวณสูง

ข้อจำกัดและข้อควรพิจารณา

  • การฝึกฝน stacking ensemble ทั้งหมดใหม่หลังจากการสอบถามแต่ละครั้งมีค่าใช้จ่ายในการคำนวณสูงสำหรับชุด base learners ขนาดใหญ่
  • การออกแบบกลยุทธ์การสอบถามไม่ใช่เรื่องง่าย: ฟังก์ชันการได้มาซึ่งข้อมูลที่ไม่ดีอาจเลือกตัวอย่างที่ซ้ำซ้อนหรือไม่ให้ข้อมูล
  • meta-learner ต้องการข้อมูลที่มีป้ายกำกับเพียงพอเพื่อเรียนรู้น้ำหนักการรวมที่น่าเชื่อถือ ด้วยป้ายกำกับที่น้อยมาก คุณลักษณะเมตาจะเต็มไปด้วยสัญญาณรบกวน (noisy)
  • ความล่าช้าในการตอบสนองจาก oracle ที่เป็นมนุษย์อาจทำให้วงจรการทำงานแบบวนซ้ำช้าในทางปฏิบัติ
  • ประสิทธิภาพขึ้นอยู่กับความหลากหลายของ base learners และ meta-learner ที่เลือกเป็นอย่างมาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • บรรลุความแม่นยำในการทำนายสูงด้วยตัวอย่างที่มีป้ายกำกับน้อยกว่า stacking แบบ supervised แบบ passive
  • ความหลากหลายของ ensemble จาก base learners หลายตัวทำให้การประมาณค่าความไม่แน่นอนของการสอบถามมีความน่าเชื่อถือมากขึ้น
  • meta-learner รวม base learners เข้าด้วยกันอย่างปรับตัวได้ โดยแก้ไข bias ของ base learner แต่ละตัว
  • เข้ากันได้กับแทบทุกการผสมผสานกันของ base learners และ meta-learner
  • ลดงบประมาณการติดป้ายกำกับอย่างเป็นระบบ ทำให้เวลาของผู้เชี่ยวชาญมีประสิทธิภาพมากขึ้น

การประยุกต์ใช้

  • การจำแนกภาพทางการแพทย์หรือบันทึกทางคลินิกที่มีกรณีที่ติดป้ายกำกับจำกัด
  • การจำแนกเอกสารทางกฎหมายและกฎระเบียบ ซึ่งการติดป้ายกำกับโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง
  • การติดป้ายกำกับข้อมูลทางวิทยาศาสตร์ในสาขาชีววิทยา เคมี และการสำรวจระยะไกล
  • การวิเคราะห์ความรู้สึก (sentiment analysis) และการจำแนกข้อความ (text classification) ด้วยข้อมูลที่มีป้ายกำกับเฉพาะทางที่หายาก
  • การตรวจจับการฉ้อโกง (fraud detection) ซึ่งป้ายกำกับจริง (ground-truth labels) ต้องการการตรวจสอบด้วยตนเอง
  • งานทำนายแบบตาราง (tabular prediction task) ใดๆ ที่มีกลุ่มข้อมูลที่ไม่มีป้ายกำกับจำนวนมากและมีงบประมาณการติดป้ายกำกับที่จำกัด

วิธีการทำงาน

วิธีการทำงาน

1

ชุดข้อมูลเริ่มต้นขนาดเล็กที่มีป้ายกำกับถูกใช้เพื่อปรับ base learners เริ่มต้นใน stack ข้อมูลที่เหลือจะยังคงไม่มีป้ายกำกับในกลุ่มข้อมูลที่รอการคัดเลือก ชุดข้อมูลเริ่มต้นนี้กำหนดจุดเริ่มต้นสำหรับการสอบถามแบบ active ทั้งหมดในขั้นตอนต่อไป

2

ฟังก์ชันการได้มาซึ่งข้อมูล (acquisition function) — เช่น ความไม่แน่นอนของการทำนาย (prediction uncertainty), การสุ่มเลือกจากส่วนต่าง (margin sampling), หรือความขัดแย้งของการสอบถามโดยคณะกรรมการ (query-by-committee disagreement) ในหมู่ base learners — จะให้คะแนนข้อมูลที่รอการคัดเลือกแต่ละรายการ ตัวอย่างที่มีคะแนนสูงสุดจะถูกเลือกให้เป็นตัวอย่างที่ให้ข้อมูลมากที่สุดสำหรับการติดป้ายกำกับ

3

ตัวอย่างที่เลือกจะถูกนำเสนอต่อผู้ติดป้ายกำกับที่เป็นมนุษย์หรือ oracle อัตโนมัติ ซึ่งจะกำหนดป้ายกำกับที่แท้จริง ตัวอย่างที่มีป้ายกำกับนี้จะถูกเพิ่มเข้าไปในชุดข้อมูลฝึกฝนสำหรับรอบการฝึกฝนถัดไป

4

ด้วยชุดข้อมูลที่มีป้ายกำกับที่อัปเดตแล้ว base learner แต่ละตัว (เช่น decision tree, SVM, logistic regression) จะถูกฝึกฝนใหม่ การทำนายแบบ out-of-fold จาก base learners บนชุดข้อมูลฝึกฝนจะสร้างเมทริกซ์คุณลักษณะเมตา (meta-feature matrix) ที่ใช้ในการฝึก meta-learner

5

meta-learner (โดยทั่วไปคือ logistic regression หรือ linear model) จะถูกฝึกฝนบนคุณลักษณะเมตาที่สร้างขึ้นโดย base learners มันจะเรียนรู้วิธีการรวมการทำนายของ base learners ได้ดีที่สุด โดยแก้ไขข้อผิดพลาดที่เป็นระบบของ base learner แต่ละตัว

6

ขั้นตอนที่ 2–5 จะทำซ้ำสำหรับงบประมาณการสอบถามที่กำหนดไว้ หรือจนกว่าประสิทธิภาพของโมเดลบนชุดข้อมูลตรวจสอบ (validation set) ที่แยกไว้จะคงที่ Stacking ensemble สุดท้ายคือโมเดลที่ฝึกฝนบนข้อมูลที่มีป้ายกำกับทั้งหมดที่สะสมมา

ข้อผิดพลาดที่พบบ่อย

  • การใช้ base learner เพียงตัวเดียว — วิธีนี้จะขจัดความหลากหลายของ ensemble ที่ทำให้สัญญาณการสอบถามแบบ active มีความน่าเชื่อถือ
  • การสอบถามเป็นชุดใหญ่โดยไม่ต้องฝึกฝนใหม่ระหว่างนั้น ซึ่งทำให้เสียประโยชน์จากการป้อนกลับแบบเพิ่มหน่วย
  • การประเมินผลเฉพาะบนข้อมูลฝึกฝนหลังแต่ละรอบ แทนที่จะเป็นบนชุดข้อมูลตรวจสอบที่แยกไว้
  • การไม่คำนึงถึงความไม่สมดุลของคลาส (class imbalance) เมื่อเลือกการสอบถาม ซึ่งอาจทำให้วงจรแบบ active เลือกตัวอย่างของคลาสส่วนใหญ่มากเกินไป
  • การรวมประสิทธิภาพของชุดข้อมูลเริ่มต้นที่มีป้ายกำกับเข้ากับประสิทธิภาพของโมเดลสุดท้าย

คำถามที่พบบ่อย

กลยุทธ์การสอบถามใดที่ทำงานได้ดีที่สุดกับ stacking ensemble?

Query-by-committee ซึ่งวัดความขัดแย้งระหว่าง base learners เป็นตัวเลือกที่เหมาะสมตามธรรมชาติ เนื่องจาก base learners ได้ก่อตั้งเป็นคณะกรรมการแล้ว การสุ่มเลือกตามความไม่แน่นอน (uncertainty sampling) จากผลลัพธ์ของ meta-learner ก็เป็นที่นิยมและง่ายต่อการนำไปใช้เช่นกัน

ฉันต้องการป้ายกำกับข้อมูลเริ่มต้นกี่รายการ?

จำเป็นต้องมีชุดข้อมูลเริ่มต้นอย่างน้อยหนึ่งตัวอย่างที่เป็นตัวแทนของแต่ละคลาส ในทางปฏิบัติ ข้อมูลที่มีป้ายกำกับ 10–50 รายการต่อคลาสจะให้สัญญาณเพียงพอแก่ base learners เพื่อสร้างการประมาณค่าความไม่แน่นอนที่มีความหมายสำหรับรอบการสอบถามแรก

การสอบถามทีละตัวอย่างดีกว่าหรือเป็นชุดดีกว่า?

การอัปเดตด้วยการสอบถามครั้งเดียวจะเพิ่มข้อมูลให้สูงสุด แต่ต้องฝึกฝนใหม่หลังจากการติดป้ายกำกับแต่ละครั้ง ซึ่งมีค่าใช้จ่ายสูง การเรียนรู้แบบ active ในโหมดกลุ่ม (batch-mode active learning) จะเลือกชุดการสอบถามที่หลากหลายในครั้งเดียวและฝึกฝนใหม่หนึ่งครั้งต่อชุด ซึ่งเป็นการแลกเปลี่ยนที่ใช้งานได้จริงระหว่างต้นทุนและข้อมูลที่ได้รับ

ฉันสามารถใช้ deep learners เป็นโมเดลพื้นฐานใน stack ได้หรือไม่?

ได้ แต่การฝึกฝน deep learners ใหม่หลังจากการสอบถามแบบ active แต่ละรอบนั้นมีค่าใช้จ่ายสูงมาก วิธีการประนีประนอมทั่วไปคือการตรึง (freeze) หรือปรับแต่ง (fine-tune) base learners เป็นระยะๆ ในขณะที่รันวงจรการสอบถามบ่อยขึ้นด้วย meta-learner

ฉันจะรู้ได้อย่างไรว่าเมื่อใดควรหยุดการสอบถาม?

หยุดเมื่อประสิทธิภาพบนชุดข้อมูลตรวจสอบคงที่ในช่วงหลายรอบ เมื่องบประมาณการติดป้ายกำกับหมดลง หรือเมื่อฟังก์ชันการได้มาซึ่งข้อมูลกำหนดคะแนนความไม่แน่นอนต่ำอย่างสม่ำเสมอให้กับผู้สมัครที่เหลือทั้งหมด — ซึ่งบ่งชี้ว่าโมเดลได้เรียนรู้ส่วนใหญ่จากสิ่งที่กลุ่มข้อมูลสามารถนำเสนอได้

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว