Active Learning
- ผู้เสนอ
- Burr Settles
- ปี
- 2009
- ประเภท
- Interactive supervised learning framework
- กลุ่มวิธี
- Interactive ML
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Active learning เป็นกระบวนทัศน์การเรียนรู้ของเครื่องแบบวนซ้ำ (iterative machine-learning paradigm) ซึ่งอัลกอริทึมการเรียนรู้จะเลือกสอบถามผู้ให้ข้อมูล (oracle) — โดยทั่วไปคือผู้วิเคราะห์ข้อมูลที่เป็นมนุษย์ — เพื่อขอป้ายกำกับ (label) สำหรับตัวอย่างที่ไม่มีป้ายกำกับซึ่งให้ข้อมูลมากที่สุด (most informative unlabeled examples) การเรียนรู้แบบนี้ถูกทำให้เป็นรูปธรรมโดย Burr Settles ในงานสำรวจวรรณกรรมที่เป็นรากฐานในปี 2009 การเรียนรู้แบบแอคทีฟจะช่วยแก้ปัญหาคอขวดในทางปฏิบัติของต้นทุนการติดป้ายกำกับ (annotation cost) โดยการบรรลุความแม่นยำของแบบจำลอง (model accuracy) สูงสุดด้วยตัวอย่างที่มีป้ายกำกับน้อยกว่าที่การเรียนรู้แบบมีผู้สอนแบบพาสซีฟ (passive supervised learning) ต้องการอย่างมาก
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพนักศึกษาแพทย์ที่แทนที่จะท่องจำทุกหน้าในตำราเรียน กลับถามแพทย์ผู้ดูแลเฉพาะกรณีที่ซับซ้อนที่สุด นักศึกษาจะเรียนรู้ได้เร็วขึ้นโดยการมุ่งเน้นไปที่ความไม่แน่นอน (uncertainty) แทนที่จะทบทวนตัวอย่างที่ตนเองเข้าใจอยู่แล้ว การเรียนรู้แบบแอคทีฟทำงานในลักษณะเดียวกัน: แบบจำลองจะระบุตัวอย่างที่ตนเองสับสนมากที่สุด ขอป้ายกำกับจากมนุษย์สำหรับตัวอย่างเฉพาะเหล่านั้น และปรับปรุงตนเอง — ทำซ้ำวงจรนี้จนกว่าประสิทธิภาพจะเป็นที่น่าพอใจ
ประวัติศาสตร์
แนวคิดของการสอบถามตัวอย่างการฝึกที่ให้ข้อมูลอย่างเลือกสรร มีต้นกำเนิดมาจากการออกแบบการทดลองที่เหมาะสม (optimal experimental design) ของ Fedorov (1972) และการเรียนรู้จากการสอบถาม (query learning) ของ Cohn et al. (1994) สาขานี้ได้รับการรวบรวมและเผยแพร่อย่างมากโดยรายงานทางเทคนิคของ Burr Settles ในปี 2009 ซึ่งได้รวบรวมกลยุทธ์การสอบถาม ขอบเขตทางทฤษฎี และการประยุกต์ใช้ใน NLP, ชีวสารสนเทศศาสตร์ (bioinformatics), และคอมพิวเตอร์วิทัศน์ (computer vision) การเรียนรู้แบบแอคทีฟเชิงลึก (Deep active learning) เกิดขึ้นหลังปี 2016 เมื่อโครงข่ายประสาทเทียมกลายเป็นคลาสแบบจำลองที่โดดเด่น ทำให้เกิดเทคนิคการประมาณค่าความไม่แน่นอนแบบใหม่
ควรใช้เมื่อใด
การเรียนรู้แบบแอคทีฟมีประโยชน์มากที่สุดเมื่อข้อมูลที่ไม่มีป้ายกำกับมีอยู่มากมาย แต่การติดป้ายกำกับโดยผู้เชี่ยวชาญมีราคาแพง ช้า หรือขาดแคลน — ซึ่งเป็นเรื่องปกติในภาพทางการแพทย์ (medical imaging), การจำแนกประเภทเอกสารทางกฎหมาย (legal document classification), การดูแลจัดการข้อมูลทางวิทยาศาสตร์ (scientific data curation), และการประมวลผลภาษาธรรมชาติ (natural language processing) การเรียนรู้นี้ตั้งอยู่บนสมมติฐานว่ามีผู้ให้ข้อมูลพร้อมใช้งาน และกลยุทธ์การสอบถามสามารถระบุตัวอย่างที่ให้ข้อมูลได้อย่างมีความหมาย การเรียนรู้นี้ไม่เหมาะเมื่อต้นทุนการติดป้ายกำกับน้อยมาก กลุ่มข้อมูลที่ไม่มีป้ายกำกับมีขนาดเล็ก หรือการกระจายตัวของงาน (task distribution) เปลี่ยนแปลงไปอย่างมากระหว่างการสอบถาม ทางเลือกอื่นๆ ได้แก่ การเรียนรู้แบบกึ่งมีผู้สอน (semi-supervised learning) (เมื่อไม่สามารถรับป้ายกำกับได้แบบโต้ตอบ) และการฝึกตนเอง (self-training) (เมื่อการสอบถามผู้ให้ข้อมูลเป็นไปไม่ได้)
ข้อจำกัดและข้อควรพิจารณา
- กลยุทธ์การสอบถามอาจนำไปสู่ความเอนเอียงในการสุ่มตัวอย่าง (sampling bias) ทำให้ชุดข้อมูลที่มีป้ายกำกับไม่เป็นตัวแทนของการกระจายตัวของข้อมูลที่แท้จริง
- การปรับปรุงประสิทธิภาพขึ้นอยู่กับการเลือกกลยุทธ์การสอบถามอย่างมาก ซึ่งขึ้นอยู่กับงานและแบบจำลอง
- การฝึกแบบจำลองใหม่หลังจากการสอบถามแต่ละครั้งมีค่าใช้จ่ายในการคำนวณสูงสำหรับโครงข่ายประสาทเทียมขนาดใหญ่ (large neural networks)
- สัญญาณรบกวนจากผู้ให้ข้อมูล (oracle noise) (ความขัดแย้งหรือข้อผิดพลาดของผู้วิเคราะห์ข้อมูล) สามารถลดทอนประสิทธิภาพได้หากไม่ได้รับการจำลองอย่างชัดเจน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดต้นทุนการติดป้ายกำกับได้อย่างมากโดยมุ่งเน้นความพยายามในการติดป้ายกำกับไปที่ตัวอย่างที่ให้ข้อมูลมากที่สุด
- สามารถนำไปใช้กับผู้เรียนแบบมีผู้สอน (supervised learner) ได้ทุกประเภท — การจำแนกประเภท (classification), การถดถอย (regression), การทำนายแบบมีโครงสร้าง (structured prediction) — โดยไม่ต้องแก้ไขสถาปัตยกรรมแบบจำลองพื้นฐาน
- มีรากฐานทางทฤษฎี: การสุ่มตัวอย่างตามความไม่แน่นอน (uncertainty sampling) และการสอบถามโดยคณะกรรมการ (query-by-committee) มีการพิสูจน์ตามหลัก PAC-learning และ Bayesian
- เข้ากันได้กับกระบวนการทำงานแบบระดมสมอง (crowdsourcing workflows) และแพลตฟอร์มการติดป้ายกำกับสมัยใหม่
การประยุกต์ใช้
- การติดป้ายกำกับภาพทางการแพทย์ (รังสีวิทยา, พยาธิวิทยา) ที่การติดป้ายกำกับโดยผู้เชี่ยวชาญมีราคาแพงและขาดแคลน
- การระบุชื่อเอนทิตี (Named-entity recognition) และการสกัดความสัมพันธ์ (relation extraction) ใน NLP ลดความต้องการคลังข้อมูลที่ติดป้ายกำกับด้วยมือ
- การค้นพบยา: การเลือกโมเลกุลตัวเลือกที่จะสังเคราะห์และทดสอบ
- การจำแนกประเภทภาพถ่ายระยะไกลและภาพถ่ายดาวเทียมด้วยป้ายกำกับจริง (ground-truth labels) ที่จำกัด
- การขับขี่อัตโนมัติ: การจัดลำดับความสำคัญในการติดป้ายกำกับสถานการณ์การขับขี่ที่หายากหรือมีความสำคัญต่อความปลอดภัย
วิธีการทำงาน
วิธีการทำงาน
กระบวนการเริ่มต้นด้วยกลุ่มตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก U และชุดข้อมูลที่มีป้ายกำกับ L ซึ่งว่างเปล่าในตอนแรก แบบจำลองพื้นฐาน (base model) อาจได้รับการฝึกเบื้องต้น (pretrained) ด้วยข้อมูลเริ่มต้นที่มีป้ายกำกับอยู่แล้ว หรือเริ่มต้นแบบสุ่ม การแบ่งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับนี้เป็นข้อสมมติฐานเชิงโครงสร้างที่กำหนดลักษณะของการเรียนรู้แบบแอคทีฟในกลุ่มข้อมูล (pool-based active learning)
สูตร
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptysetในแต่ละรอบการทำงาน (iteration) ผู้เรียนจะให้คะแนนตัวอย่างที่ไม่มีป้ายกำกับแต่ละรายการตามเกณฑ์การให้ข้อมูล (informativeness criterion) — ในที่นี้ การสุ่มตัวอย่างตามความไม่แน่นอน (uncertainty sampling) จะเลือกตัวอย่างที่มีความน่าจะเป็นสูงสุดของคลาส (maximum class posterior probability) ต่ำที่สุด ซึ่งบ่งชี้ถึงความไม่แน่นอนของแบบจำลองสูงสุด เกณฑ์ทางเลือกอื่นๆ ได้แก่ ความขัดแย้งของคณะกรรมการผู้ให้คำแนะนำ (query-by-committee disagreement) และการเปลี่ยนแปลงแบบจำลองที่คาดหวัง (expected model change)
สูตร
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})ตัวอย่างที่เลือก x* จะถูกนำเสนอต่อผู้ให้ข้อมูล (oracle) (ผู้เชี่ยวชาญที่เป็นมนุษย์, แพลตฟอร์มการระดมสมอง (crowdsourcing platform), หรือผู้วิเคราะห์ข้อมูลอัตโนมัติ) ซึ่งจะให้ป้ายกำกับ y* คู่ข้อมูลที่ติดป้ายกำกับใหม่จะถูกย้ายจาก U ไปยัง L และตัวนับงบประมาณการสอบถาม (query budget counter) จะถูกลดลง ต้นทุนของผู้ให้ข้อมูลมักจะถือว่าเท่ากันต่อการสอบถามหนึ่งครั้ง
สูตร
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}พารามิเตอร์ของแบบจำลองจะถูกฝึกใหม่ (retrained) (หรือปรับละเอียด (fine-tuned)) บนชุดข้อมูลที่มีป้ายกำกับ L ปัจจุบัน โดยการลดค่าการสูญเสียเชิงประจักษ์ (empirical loss) ให้ต่ำที่สุด แบบจำลองที่อัปเดตแล้วจะให้คะแนนกลุ่มข้อมูลที่เหลืออีกครั้ง และวงจรการสอบถาม-เลือก-ติดป้ายกำกับ-ฝึกใหม่จะดำเนินต่อไปจนกว่างบประมาณจะหมด หรือบรรลุเกณฑ์ความแม่นยำเป้าหมาย
สูตร
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)ข้อผิดพลาดที่พบบ่อย
- ปัญหาการเริ่มต้น (cold-start problem): ด้วยป้ายกำกับเริ่มต้นเพียงไม่กี่รายการ การประมาณค่าความไม่แน่นอนจึงไม่น่าเชื่อถือ นำไปสู่การสอบถามในช่วงแรกที่ไม่ดี
- การเรียนรู้แบบแอคทีฟในโหมดแบทช์ (Batch-mode active learning) อาจเลือกตัวอย่างที่ซ้ำซ้อนกันหากละเลยความสัมพันธ์ระหว่างการสอบถาม
- การใช้การเรียนรู้แบบแอคทีฟกับโครงข่ายประสาทเทียมเชิงลึก (deep neural networks) ที่ใช้ dropout-based uncertainty (เช่น MC Dropout) อาจประเมินความไม่แน่นอนต่ำเกินไปในบริเวณนอกการกระจายตัว (out-of-distribution regions)
- การเปรียบเทียบการทำงานของการเรียนรู้แบบแอคทีฟข้าม seed หรือ งบประมาณการสอบถามโดยไม่มีช่วงความเชื่อมั่น (confidence intervals) นำไปสู่ข้อสรุปที่ทำให้เข้าใจผิดเกี่ยวกับความเหนือกว่าของกลยุทธ์
คำถามที่พบบ่อย
การเรียนรู้แบบแอคทีฟแตกต่างจากการเรียนรู้แบบกึ่งมีผู้สอนอย่างไร?
การเรียนรู้แบบกึ่งมีผู้สอนใช้ประโยชน์จากโครงสร้างของข้อมูลที่ไม่มีป้ายกำกับ (เช่น การจัดกลุ่ม (clustering), สมมติฐานแมนิโฟลด์ (manifold assumptions)) โดยไม่ต้องสอบถามผู้ให้ข้อมูล ปรับปรุงแบบจำลองโดยใช้ป้ายกำกับปลอม (pseudo-labels) หรือการทำให้ความสอดคล้องกันเป็นระเบียบ (consistency regularization) การเรียนรู้แบบแอคทีฟจะขอป้ายกำกับจริงจากผู้ให้ข้อมูลสำหรับตัวอย่างที่เลือกอย่างชัดเจน แนวทางทั้งสองนี้ส่งเสริมซึ่งกันและกันและสามารถนำมารวมกันได้
ฉันควรใช้กลยุทธ์การสอบถามใดในทางปฏิบัติ?
การสุ่มตัวอย่างตามความไม่แน่นอนเป็นเกณฑ์มาตรฐานที่ใช้กันอย่างแพร่หลายที่สุดและทำงานได้ดีสำหรับตัวจำแนกประเภทแบบทวิภาคีและหลายคลาส (binary and multi-class classifiers) การสอบถามโดยคณะกรรมการ (Query-by-committee) เป็นที่ต้องการเมื่อมีชุดรวม (ensemble) อยู่แล้ว การเปลี่ยนแปลงแบบจำลองที่คาดหวัง (Expected model change) หรือ BALD (Bayesian Active Learning by Disagreement) มีแนวโน้มที่จะทำงานได้ดีกว่าสำหรับแบบจำลองเชิงลึก แต่มีค่าใช้จ่ายในการคำนวณสูงกว่า เริ่มต้นด้วยการสุ่มตัวอย่างตามความไม่แน่นอนและเปรียบเทียบกับทางเลือกอื่น
สามารถใช้การเรียนรู้แบบแอคทีฟกับงานถดถอยได้หรือไม่?
ได้ สำหรับงานถดถอย ข้อมูลที่ให้ประโยชน์มักวัดด้วยความแปรปรวนของการทำนาย (predictive variance) (เช่น จากกระบวนการแบบเกาส์เซียน (Gaussian process) หรือชุดรวม) แทนที่จะเป็นเอนโทรปีความน่าจะเป็นของคลาส (class probability entropy) ผู้เรียนจะสอบถามจุดที่มีความแปรปรวนสูงสุด นี่เป็นแนวทางปฏิบัติมาตรฐานในการหาค่าที่เหมาะสมที่สุดแบบเบย์ (Bayesian optimization) และการออกแบบการทดลองโดยใช้แบบจำลองตัวแทน (surrogate-model-based design of experiments)
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว