Skip to content
กลับไปยังผลการค้นหา

Active Learning

ผู้เสนอ
Burr Settles
ปี
2009
ประเภท
Interactive supervised learning framework
กลุ่มวิธี
Interactive ML

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Active learning เป็นกระบวนทัศน์การเรียนรู้ของเครื่องแบบวนซ้ำ (iterative machine-learning paradigm) ซึ่งอัลกอริทึมการเรียนรู้จะเลือกสอบถามผู้ให้ข้อมูล (oracle) — โดยทั่วไปคือผู้วิเคราะห์ข้อมูลที่เป็นมนุษย์ — เพื่อขอป้ายกำกับ (label) สำหรับตัวอย่างที่ไม่มีป้ายกำกับซึ่งให้ข้อมูลมากที่สุด (most informative unlabeled examples) การเรียนรู้แบบนี้ถูกทำให้เป็นรูปธรรมโดย Burr Settles ในงานสำรวจวรรณกรรมที่เป็นรากฐานในปี 2009 การเรียนรู้แบบแอคทีฟจะช่วยแก้ปัญหาคอขวดในทางปฏิบัติของต้นทุนการติดป้ายกำกับ (annotation cost) โดยการบรรลุความแม่นยำของแบบจำลอง (model accuracy) สูงสุดด้วยตัวอย่างที่มีป้ายกำกับน้อยกว่าที่การเรียนรู้แบบมีผู้สอนแบบพาสซีฟ (passive supervised learning) ต้องการอย่างมาก

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพนักศึกษาแพทย์ที่แทนที่จะท่องจำทุกหน้าในตำราเรียน กลับถามแพทย์ผู้ดูแลเฉพาะกรณีที่ซับซ้อนที่สุด นักศึกษาจะเรียนรู้ได้เร็วขึ้นโดยการมุ่งเน้นไปที่ความไม่แน่นอน (uncertainty) แทนที่จะทบทวนตัวอย่างที่ตนเองเข้าใจอยู่แล้ว การเรียนรู้แบบแอคทีฟทำงานในลักษณะเดียวกัน: แบบจำลองจะระบุตัวอย่างที่ตนเองสับสนมากที่สุด ขอป้ายกำกับจากมนุษย์สำหรับตัวอย่างเฉพาะเหล่านั้น และปรับปรุงตนเอง — ทำซ้ำวงจรนี้จนกว่าประสิทธิภาพจะเป็นที่น่าพอใจ

ประวัติศาสตร์

แนวคิดของการสอบถามตัวอย่างการฝึกที่ให้ข้อมูลอย่างเลือกสรร มีต้นกำเนิดมาจากการออกแบบการทดลองที่เหมาะสม (optimal experimental design) ของ Fedorov (1972) และการเรียนรู้จากการสอบถาม (query learning) ของ Cohn et al. (1994) สาขานี้ได้รับการรวบรวมและเผยแพร่อย่างมากโดยรายงานทางเทคนิคของ Burr Settles ในปี 2009 ซึ่งได้รวบรวมกลยุทธ์การสอบถาม ขอบเขตทางทฤษฎี และการประยุกต์ใช้ใน NLP, ชีวสารสนเทศศาสตร์ (bioinformatics), และคอมพิวเตอร์วิทัศน์ (computer vision) การเรียนรู้แบบแอคทีฟเชิงลึก (Deep active learning) เกิดขึ้นหลังปี 2016 เมื่อโครงข่ายประสาทเทียมกลายเป็นคลาสแบบจำลองที่โดดเด่น ทำให้เกิดเทคนิคการประมาณค่าความไม่แน่นอนแบบใหม่

ควรใช้เมื่อใด

การเรียนรู้แบบแอคทีฟมีประโยชน์มากที่สุดเมื่อข้อมูลที่ไม่มีป้ายกำกับมีอยู่มากมาย แต่การติดป้ายกำกับโดยผู้เชี่ยวชาญมีราคาแพง ช้า หรือขาดแคลน — ซึ่งเป็นเรื่องปกติในภาพทางการแพทย์ (medical imaging), การจำแนกประเภทเอกสารทางกฎหมาย (legal document classification), การดูแลจัดการข้อมูลทางวิทยาศาสตร์ (scientific data curation), และการประมวลผลภาษาธรรมชาติ (natural language processing) การเรียนรู้นี้ตั้งอยู่บนสมมติฐานว่ามีผู้ให้ข้อมูลพร้อมใช้งาน และกลยุทธ์การสอบถามสามารถระบุตัวอย่างที่ให้ข้อมูลได้อย่างมีความหมาย การเรียนรู้นี้ไม่เหมาะเมื่อต้นทุนการติดป้ายกำกับน้อยมาก กลุ่มข้อมูลที่ไม่มีป้ายกำกับมีขนาดเล็ก หรือการกระจายตัวของงาน (task distribution) เปลี่ยนแปลงไปอย่างมากระหว่างการสอบถาม ทางเลือกอื่นๆ ได้แก่ การเรียนรู้แบบกึ่งมีผู้สอน (semi-supervised learning) (เมื่อไม่สามารถรับป้ายกำกับได้แบบโต้ตอบ) และการฝึกตนเอง (self-training) (เมื่อการสอบถามผู้ให้ข้อมูลเป็นไปไม่ได้)

ข้อจำกัดและข้อควรพิจารณา

  • กลยุทธ์การสอบถามอาจนำไปสู่ความเอนเอียงในการสุ่มตัวอย่าง (sampling bias) ทำให้ชุดข้อมูลที่มีป้ายกำกับไม่เป็นตัวแทนของการกระจายตัวของข้อมูลที่แท้จริง
  • การปรับปรุงประสิทธิภาพขึ้นอยู่กับการเลือกกลยุทธ์การสอบถามอย่างมาก ซึ่งขึ้นอยู่กับงานและแบบจำลอง
  • การฝึกแบบจำลองใหม่หลังจากการสอบถามแต่ละครั้งมีค่าใช้จ่ายในการคำนวณสูงสำหรับโครงข่ายประสาทเทียมขนาดใหญ่ (large neural networks)
  • สัญญาณรบกวนจากผู้ให้ข้อมูล (oracle noise) (ความขัดแย้งหรือข้อผิดพลาดของผู้วิเคราะห์ข้อมูล) สามารถลดทอนประสิทธิภาพได้หากไม่ได้รับการจำลองอย่างชัดเจน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดต้นทุนการติดป้ายกำกับได้อย่างมากโดยมุ่งเน้นความพยายามในการติดป้ายกำกับไปที่ตัวอย่างที่ให้ข้อมูลมากที่สุด
  • สามารถนำไปใช้กับผู้เรียนแบบมีผู้สอน (supervised learner) ได้ทุกประเภท — การจำแนกประเภท (classification), การถดถอย (regression), การทำนายแบบมีโครงสร้าง (structured prediction) — โดยไม่ต้องแก้ไขสถาปัตยกรรมแบบจำลองพื้นฐาน
  • มีรากฐานทางทฤษฎี: การสุ่มตัวอย่างตามความไม่แน่นอน (uncertainty sampling) และการสอบถามโดยคณะกรรมการ (query-by-committee) มีการพิสูจน์ตามหลัก PAC-learning และ Bayesian
  • เข้ากันได้กับกระบวนการทำงานแบบระดมสมอง (crowdsourcing workflows) และแพลตฟอร์มการติดป้ายกำกับสมัยใหม่

การประยุกต์ใช้

  • การติดป้ายกำกับภาพทางการแพทย์ (รังสีวิทยา, พยาธิวิทยา) ที่การติดป้ายกำกับโดยผู้เชี่ยวชาญมีราคาแพงและขาดแคลน
  • การระบุชื่อเอนทิตี (Named-entity recognition) และการสกัดความสัมพันธ์ (relation extraction) ใน NLP ลดความต้องการคลังข้อมูลที่ติดป้ายกำกับด้วยมือ
  • การค้นพบยา: การเลือกโมเลกุลตัวเลือกที่จะสังเคราะห์และทดสอบ
  • การจำแนกประเภทภาพถ่ายระยะไกลและภาพถ่ายดาวเทียมด้วยป้ายกำกับจริง (ground-truth labels) ที่จำกัด
  • การขับขี่อัตโนมัติ: การจัดลำดับความสำคัญในการติดป้ายกำกับสถานการณ์การขับขี่ที่หายากหรือมีความสำคัญต่อความปลอดภัย

วิธีการทำงาน

วิธีการทำงาน

1

กระบวนการเริ่มต้นด้วยกลุ่มตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก U และชุดข้อมูลที่มีป้ายกำกับ L ซึ่งว่างเปล่าในตอนแรก แบบจำลองพื้นฐาน (base model) อาจได้รับการฝึกเบื้องต้น (pretrained) ด้วยข้อมูลเริ่มต้นที่มีป้ายกำกับอยู่แล้ว หรือเริ่มต้นแบบสุ่ม การแบ่งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับนี้เป็นข้อสมมติฐานเชิงโครงสร้างที่กำหนดลักษณะของการเรียนรู้แบบแอคทีฟในกลุ่มข้อมูล (pool-based active learning)

สูตร
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptyset
2

ในแต่ละรอบการทำงาน (iteration) ผู้เรียนจะให้คะแนนตัวอย่างที่ไม่มีป้ายกำกับแต่ละรายการตามเกณฑ์การให้ข้อมูล (informativeness criterion) — ในที่นี้ การสุ่มตัวอย่างตามความไม่แน่นอน (uncertainty sampling) จะเลือกตัวอย่างที่มีความน่าจะเป็นสูงสุดของคลาส (maximum class posterior probability) ต่ำที่สุด ซึ่งบ่งชี้ถึงความไม่แน่นอนของแบบจำลองสูงสุด เกณฑ์ทางเลือกอื่นๆ ได้แก่ ความขัดแย้งของคณะกรรมการผู้ให้คำแนะนำ (query-by-committee disagreement) และการเปลี่ยนแปลงแบบจำลองที่คาดหวัง (expected model change)

สูตร
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})
3

ตัวอย่างที่เลือก x* จะถูกนำเสนอต่อผู้ให้ข้อมูล (oracle) (ผู้เชี่ยวชาญที่เป็นมนุษย์, แพลตฟอร์มการระดมสมอง (crowdsourcing platform), หรือผู้วิเคราะห์ข้อมูลอัตโนมัติ) ซึ่งจะให้ป้ายกำกับ y* คู่ข้อมูลที่ติดป้ายกำกับใหม่จะถูกย้ายจาก U ไปยัง L และตัวนับงบประมาณการสอบถาม (query budget counter) จะถูกลดลง ต้นทุนของผู้ให้ข้อมูลมักจะถือว่าเท่ากันต่อการสอบถามหนึ่งครั้ง

สูตร
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}
4

พารามิเตอร์ของแบบจำลองจะถูกฝึกใหม่ (retrained) (หรือปรับละเอียด (fine-tuned)) บนชุดข้อมูลที่มีป้ายกำกับ L ปัจจุบัน โดยการลดค่าการสูญเสียเชิงประจักษ์ (empirical loss) ให้ต่ำที่สุด แบบจำลองที่อัปเดตแล้วจะให้คะแนนกลุ่มข้อมูลที่เหลืออีกครั้ง และวงจรการสอบถาม-เลือก-ติดป้ายกำกับ-ฝึกใหม่จะดำเนินต่อไปจนกว่างบประมาณจะหมด หรือบรรลุเกณฑ์ความแม่นยำเป้าหมาย

สูตร
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)

ข้อผิดพลาดที่พบบ่อย

  • ปัญหาการเริ่มต้น (cold-start problem): ด้วยป้ายกำกับเริ่มต้นเพียงไม่กี่รายการ การประมาณค่าความไม่แน่นอนจึงไม่น่าเชื่อถือ นำไปสู่การสอบถามในช่วงแรกที่ไม่ดี
  • การเรียนรู้แบบแอคทีฟในโหมดแบทช์ (Batch-mode active learning) อาจเลือกตัวอย่างที่ซ้ำซ้อนกันหากละเลยความสัมพันธ์ระหว่างการสอบถาม
  • การใช้การเรียนรู้แบบแอคทีฟกับโครงข่ายประสาทเทียมเชิงลึก (deep neural networks) ที่ใช้ dropout-based uncertainty (เช่น MC Dropout) อาจประเมินความไม่แน่นอนต่ำเกินไปในบริเวณนอกการกระจายตัว (out-of-distribution regions)
  • การเปรียบเทียบการทำงานของการเรียนรู้แบบแอคทีฟข้าม seed หรือ งบประมาณการสอบถามโดยไม่มีช่วงความเชื่อมั่น (confidence intervals) นำไปสู่ข้อสรุปที่ทำให้เข้าใจผิดเกี่ยวกับความเหนือกว่าของกลยุทธ์

คำถามที่พบบ่อย

การเรียนรู้แบบแอคทีฟแตกต่างจากการเรียนรู้แบบกึ่งมีผู้สอนอย่างไร?

การเรียนรู้แบบกึ่งมีผู้สอนใช้ประโยชน์จากโครงสร้างของข้อมูลที่ไม่มีป้ายกำกับ (เช่น การจัดกลุ่ม (clustering), สมมติฐานแมนิโฟลด์ (manifold assumptions)) โดยไม่ต้องสอบถามผู้ให้ข้อมูล ปรับปรุงแบบจำลองโดยใช้ป้ายกำกับปลอม (pseudo-labels) หรือการทำให้ความสอดคล้องกันเป็นระเบียบ (consistency regularization) การเรียนรู้แบบแอคทีฟจะขอป้ายกำกับจริงจากผู้ให้ข้อมูลสำหรับตัวอย่างที่เลือกอย่างชัดเจน แนวทางทั้งสองนี้ส่งเสริมซึ่งกันและกันและสามารถนำมารวมกันได้

ฉันควรใช้กลยุทธ์การสอบถามใดในทางปฏิบัติ?

การสุ่มตัวอย่างตามความไม่แน่นอนเป็นเกณฑ์มาตรฐานที่ใช้กันอย่างแพร่หลายที่สุดและทำงานได้ดีสำหรับตัวจำแนกประเภทแบบทวิภาคีและหลายคลาส (binary and multi-class classifiers) การสอบถามโดยคณะกรรมการ (Query-by-committee) เป็นที่ต้องการเมื่อมีชุดรวม (ensemble) อยู่แล้ว การเปลี่ยนแปลงแบบจำลองที่คาดหวัง (Expected model change) หรือ BALD (Bayesian Active Learning by Disagreement) มีแนวโน้มที่จะทำงานได้ดีกว่าสำหรับแบบจำลองเชิงลึก แต่มีค่าใช้จ่ายในการคำนวณสูงกว่า เริ่มต้นด้วยการสุ่มตัวอย่างตามความไม่แน่นอนและเปรียบเทียบกับทางเลือกอื่น

สามารถใช้การเรียนรู้แบบแอคทีฟกับงานถดถอยได้หรือไม่?

ได้ สำหรับงานถดถอย ข้อมูลที่ให้ประโยชน์มักวัดด้วยความแปรปรวนของการทำนาย (predictive variance) (เช่น จากกระบวนการแบบเกาส์เซียน (Gaussian process) หรือชุดรวม) แทนที่จะเป็นเอนโทรปีความน่าจะเป็นของคลาส (class probability entropy) ผู้เรียนจะสอบถามจุดที่มีความแปรปรวนสูงสุด นี่เป็นแนวทางปฏิบัติมาตรฐานในการหาค่าที่เหมาะสมที่สุดแบบเบย์ (Bayesian optimization) และการออกแบบการทดลองโดยใช้แบบจำลองตัวแทน (surrogate-model-based design of experiments)

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว