Skip to content
กลับไปยังผลการค้นหา

แบบจำลองส่วนผสมแบบเกาส์เซียน (Gaussian Mixture Model) แบบเรียนรู้เชิงรุก

ผู้เสนอ
Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
ปี
2000s (combination)
ประเภท
Active learning for probabilistic clustering / density estimation
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองส่วนผสมแบบเกาส์เซียน (Gaussian Mixture Model) แบบเรียนรู้เชิงรุก (Active Learning Gaussian Mixture Model) ผสมผสานกลยุทธ์การสอบถามแบบวนซ้ำเข้ากับแบบจำลองส่วนผสมแบบเกาส์เซียน (Gaussian Mixture Model learner) อัลกอริทึมจะเลือกจุดข้อมูลที่ไม่มีป้ายกำกับซึ่งให้ข้อมูลมากที่สุด — โดยทั่วไปคือจุดที่มีความไม่แน่นอนในการทำนายสูงสุด — นำเสนอจุดเหล่านั้นต่อผู้ให้คำแนะนำ (oracle) เพื่อติดป้ายกำกับ และปรับปรุงแบบจำลอง GMM ใหม่โดยใช้ EM กับชุดข้อมูลที่มีป้ายกำกับที่เพิ่มขึ้น ผลลัพธ์ที่ได้คือแบบจำลองความหนาแน่นที่เทียบเท่ากับคุณภาพของข้อมูลทั้งหมด แต่ต้องการตัวอย่างที่มีป้ายกำกับน้อยกว่ามาก

แนวคิดเบื้องหลังวิธีการ

การติดป้ายกำกับข้อมูลมีค่าใช้จ่ายสูง แบบจำลอง GMM แบบธรรมดาที่ฝึกบนข้อมูลทั้งหมดทำงานได้ดี แต่ต้องการตัวอย่างที่มีป้ายกำกับจำนวนมาก การเรียนรู้เชิงรุกแก้ปัญหานี้โดยการถามว่า: จุดข้อมูลที่ไม่มีป้ายกำกับใด หากติดป้ายกำกับในตอนนี้ จะช่วยลดความไม่แน่นอนเกี่ยวกับส่วนประกอบของส่วนผสมได้มากที่สุด? จุดที่อยู่ใกล้ขอบเขตการตัดสินใจระหว่างส่วนประกอบหรือในบริเวณที่มีการสุ่มตัวอย่างเบาบางคือจุดที่ให้ข้อมูลมากที่สุด โดยการสอบถามเฉพาะจุดที่มีมูลค่าสูงเหล่านั้นและปรับปรุงแบบจำลอง GMM ใหม่หลังจากได้รับป้ายกำกับแต่ละรายการ แบบจำลองจะบรรลุประสิทธิภาพที่ดีโดยใช้เพียงส่วนเล็กน้อยของงบประมาณการติดป้ายกำกับ ทำให้เป็นที่น่าสนใจสำหรับงานต่างๆ เช่น การถ่ายภาพทางการแพทย์ หรือการตรวจจับเหตุการณ์ที่เกิดขึ้นไม่บ่อย ซึ่งการให้คำอธิบายโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง

ประวัติศาสตร์

แบบจำลองส่วนผสมแบบเกาส์เซียน (Gaussian Mixture Models) ผ่านอัลกอริทึม Expectation-Maximization (EM) ได้รับการกำหนดรูปแบบอย่างเป็นทางการโดย Dempster, Laird และ Rubin ในปี 1977 กรอบการทำงานที่เป็นระบบของการเรียนรู้เชิงรุกได้รับการอธิบายโดย Settles ในช่วงปี 2000 โดยสรุปในเอกสารสังเคราะห์ที่ได้รับการอ้างอิงอย่างกว้างขวางในปี 2012 การผสมผสานการสอบถามเชิงรุกเข้ากับ GMM เกิดขึ้นในวรรณกรรมแมชชีนเลิร์นนิงในช่วงปี 2000 และ 2010 โดยมีแรงจูงใจจากการประมาณค่าความหนาแน่นและการจัดกลุ่มแบบกึ่งมีผู้สอน (semi-supervised clustering) ซึ่งมีงบประมาณการให้คำอธิบายที่จำกัด

ควรใช้เมื่อใด

ใช้ Active Learning GMM เมื่อคุณมีข้อมูลต่อเนื่องที่ไม่มีป้ายกำกับจำนวนมาก แต่การติดป้ายกำกับมีค่าใช้จ่ายสูงหรือใช้เวลานาน และคุณต้องการแบบจำลองความหนาแน่นเชิงความน่าจะเป็น หรือแบบจำลองการจัดกลุ่ม เหมาะสำหรับงานที่มีการกำหนดสมาชิกกลุ่มแบบไม่แน่นอน (soft cluster membership) คลาสที่ทับซ้อนกัน และความต้องการในการวัดปริมาณความไม่แน่นอน — เช่น การตรวจจับความผิดปกติ การวินิจฉัยทางการแพทย์ หรือการจำแนกประเภททางวิทยาศาสตร์ อย่าใช้เมื่อมีป้ายกำกับจำนวนมากและราคาถูกอยู่แล้ว เมื่อจำนวนส่วนประกอบ K ไม่แน่นอนอย่างมากและไม่สามารถตรวจสอบได้จากภายนอก เมื่อข้อมูลมีมิติสูงโดยไม่มีการลดมิติ (การประมาณค่าความแปรปรวนร่วมของ GMM เสื่อมถอย) หรือเมื่อความต้องการหลักของคุณคือการจำแนกประเภทมากกว่าการประมาณค่าความหนาแน่น

ข้อจำกัดและข้อควรพิจารณา

  • การเลือกจำนวนส่วนประกอบ K ต้องการความรู้เฉพาะทาง หรือเกณฑ์การเลือกแบบจำลอง เช่น BIC/AIC
  • การประมาณค่าความแปรปรวนร่วมของ GMM เสื่อมถอยในปริภูมิคุณลักษณะที่มีมิติสูง โดยไม่มีการลดมิติเบื้องต้น
  • ประโยชน์ของการเรียนรู้เชิงรุกจะลดลงหากชุดข้อมูลเริ่มต้นที่มีป้ายกำกับมีขนาดเล็กเกินไปที่จะสร้างแบบจำลองที่มีความหมายได้
  • การสอบถามแบบลำดับสร้างวงจรป้อนกลับที่อาจทำให้ชุดข้อมูลที่มีป้ายกำกับเอนเอียงได้ หากแบบจำลองเริ่มต้นระบุผิดพลาดอย่างร้ายแรง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดต้นทุนการติดป้ายกำกับได้อย่างมากโดยการกำหนดเป้าหมายเฉพาะตัวอย่างที่คลุมเครือที่สุด
  • ให้การกำหนดกลุ่มเชิงความน่าจะเป็นแบบไม่แน่นอน (soft probabilistic cluster assignments) และแบบจำลองความหนาแน่นเต็มรูปแบบ ไม่ใช่แค่ป้ายกำกับแบบตายตัว
  • การประมาณค่าความไม่แน่นอนจากความน่าจะเป็นภายหลังของ GMM ใช้เป็นเกณฑ์การสอบถามโดยตรง ทำให้กระบวนการทำงานมีความสอดคล้องกัน
  • การเริ่มต้นแบบอุ่น (warm-starting) ของ EM ทำให้การฝึกใหม่ในแต่ละรอบรวดเร็ว แม้สำหรับชุดข้อมูลขนาดปานกลาง
  • ทำงานได้ดีกับข้อมูลต่อเนื่องที่มีมิติปานกลาง และจัดการกับกลุ่มที่ทับซ้อนกันได้อย่างเป็นธรรมชาติ

การประยุกต์ใช้

  • การแบ่งส่วนภาพทางการแพทย์ (Medical image segmentation) ซึ่งการให้คำอธิบายภูมิภาคเนื้อเยื่อโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง
  • การตรวจจับเหตุการณ์ที่เกิดขึ้นไม่บ่อยในสตรีมเซ็นเซอร์โดยใช้การติดป้ายกำกับที่นำโดยความไม่แน่นอน
  • การจัดกลุ่มข้อมูลทางวิทยาศาสตร์ (เช่น สัณฐานวิทยากาแล็กซี, กลุ่มโปรตีน) ที่มีป้ายกำกับจริงจำกัด
  • การให้คะแนนความผิดปกติในการควบคุมคุณภาพทางอุตสาหกรรมด้วยการป้อนกลับจากผู้เชี่ยวชาญแบบวนซ้ำ
  • การสร้างแบบจำลองเสียงพูดและเสียง ซึ่งการให้คำอธิบายระดับหน่วยเสียง (phoneme-level annotation) ใช้เวลานาน

วิธีการทำงาน

วิธีการทำงาน

1

แบบจำลอง GMM เริ่มต้นที่มีจำนวนส่วนประกอบ K ที่เลือกไว้จะถูกปรับให้เข้ากับข้อมูลที่มีป้ายกำกับที่มีอยู่ หรือเริ่มต้นจากชุดข้อมูลสุ่มขนาดเล็ก การใช้ EM จะให้ค่าน้ำหนักส่วนผสม ค่าเฉลี่ยของส่วนประกอบ และเมทริกซ์ความแปรปรวนร่วม (covariance matrices) ที่กำหนดการประมาณค่าความหนาแน่นเริ่มต้น

2

สำหรับจุดข้อมูลที่ไม่มีป้ายกำกับแต่ละจุด อัลกอริทึมจะคำนวณคะแนนข้อมูล (informativeness score) — โดยทั่วไปคือเอนโทรปีของการทำนาย H(y|x,theta) เหนือส่วนประกอบ K ทั้ง K หรือส่วนต่างระหว่างสองอันดับแรกของความน่าจะเป็นภายหลัง (component posteriors) จุดที่มีคะแนนสูงสุดจะถูกเลือกเป็นการสอบถามครั้งต่อไป

สูตร
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)
3

จุดที่เลือกจะถูกนำเสนอต่อผู้เชี่ยวชาญที่เป็นมนุษย์หรือผู้ให้คำแนะนำอัตโนมัติที่ให้ป้ายกำกับกลุ่ม (cluster) หรือคลาส ป้ายกำกับนี้จะถูกเพิ่มเข้าไปในกลุ่มข้อมูลที่มีป้ายกำกับ และลบจุดนั้นออกจากกลุ่มข้อมูลที่ไม่มีป้ายกำกับ

4

แบบจำลอง GMM จะถูกฝึกใหม่โดยใช้ EM กับกลุ่มข้อมูลที่มีป้ายกำกับที่อัปเดต เนื่องจากมีการเพิ่มเพียงหนึ่งจุดหรือชุดข้อมูลขนาดเล็กในแต่ละรอบ การเริ่มต้นแบบอุ่น (warm-starting) จากพารามิเตอร์ก่อนหน้าจะทำให้การฝึกใหม่มีประสิทธิภาพ

5

การสอบถามจะดำเนินต่อไปจนกว่างบประมาณการให้คำอธิบายจะหมดลง คะแนนความไม่แน่นอนลดลงต่ำกว่าเกณฑ์ หรือประสิทธิภาพของแบบจำลองที่ถูกพักไว้หยุดนิ่ง แบบจำลอง GMM สุดท้ายจะถูกใช้สำหรับการประมาณค่าความหนาแน่น การจัดกลุ่ม หรือการจำแนกประเภท

ข้อผิดพลาดที่พบบ่อย

  • การปฏิบัติต่อชุดข้อมูลที่มีป้ายกำกับที่เลือกเชิงรุกเสมือนเป็นตัวอย่างอิสระและมีการแจกแจงเหมือนกัน (i.i.d. sample) สำหรับการอนุมานมาตรฐาน — ซึ่งเป็นตัวอย่างที่มีความเอนเอียงโดยการออกแบบ
  • การกำหนดค่า K ล่วงหน้าโดยไม่ตรวจสอบ BIC หรือ log-likelihood ที่ตรวจสอบด้วยการแบ่งส่วน (cross-validated) นำไปสู่การระบุส่วนประกอบผิดพลาด
  • การสอบถามในชุดข้อมูลขนาดใหญ่เกินไปในแต่ละรอบ ซึ่งจะหักล้างประโยชน์ของการปรับตัวของการเลือกเชิงรุก
  • การละเลยการทำให้เมทริกซ์ความแปรปรวนร่วมเป็นปกติ (เช่น การเพิ่มเทอมแนวทแยงขนาดเล็ก) ในชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก ซึ่งทำให้เกิดการอัปเดต EM ที่เสื่อมถอย
  • การประเมินผลเฉพาะบนชุดข้อมูลที่มีป้ายกำกับ แทนที่จะเป็นชุดข้อมูลที่ไม่มีป้ายกำกับที่ถูกพักไว้ ซึ่งทำให้ประสิทธิภาพที่ปรากฏสูงเกินจริง

คำถามที่พบบ่อย

ฉันจะเลือกจำนวนส่วนประกอบเกาส์เซียน K ได้อย่างไร?

ปรับแบบจำลอง GMM ที่มี K แตกต่างกันบนข้อมูลที่มีป้ายกำกับที่มีอยู่ และเปรียบเทียบคะแนน BIC หรือ AIC การประเมิน log-likelihood ด้วยการแบ่งส่วนบนชุดข้อมูลย่อยที่ไม่มีป้ายกำกับที่ถูกพักไว้มีความน่าเชื่อถือมากกว่าเมื่อข้อมูลที่มีป้ายกำกับมีน้อย ความรู้เฉพาะทางเกี่ยวกับจำนวนกลุ่มหรือคลาสที่คาดหวังเป็นแนวทางที่น่าเชื่อถือที่สุด

ฉันสามารถสอบถามมากกว่าหนึ่งจุดต่อรอบได้หรือไม่?

ได้ — การเรียนรู้เชิงรุกแบบกลุ่ม (batch-mode active learning) จะเลือกจุดข้อมูลที่คลุมเครือที่สุด B จุดต่อรอบ ชุดข้อมูลขนาดใหญ่ช่วยให้สามารถให้คำอธิบายแบบขนานได้ แต่ลดประโยชน์ของการปรับตัวของการอัปเดตแบบสอบถามเดียว ขนาดชุดข้อมูลตั้งแต่ 5–20 เป็นเรื่องปกติในการปฏิบัติงาน

จะเกิดอะไรขึ้นหากข้อมูลที่ไม่มีป้ายกำกับของฉันมีมิติสูง?

ใช้ PCA หรือ autoencoder เพื่อลดมิติก่อนทำการปรับแบบจำลอง GMM การประมาณค่าความแปรปรวนร่วมใน GMM จะเสื่อมถอยอย่างรวดเร็วเมื่อจำนวนคุณลักษณะเพิ่มขึ้นเมื่อเทียบกับจำนวนการสังเกตที่มีป้ายกำกับ และเมทริกซ์ความแปรปรวนร่วมเต็มรูปแบบจะใกล้เคียงกับเมทริกซ์เอกฐาน

สิ่งนี้แตกต่างจาก GMM แบบกึ่งมีผู้สอน (semi-supervised GMM) อย่างไร?

GMM แบบกึ่งมีผู้สอนใช้ทั้งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับในแต่ละขั้นตอน EM โดยใช้ประโยชน์จากโครงสร้างความหนาแน่นของข้อมูลที่ไม่มีป้ายกำกับ Active Learning GMM มุ่งเน้นไปที่จุดข้อมูลที่ไม่มีป้ายกำกับใดที่จะติดป้ายกำกับต่อไป และโดยทั่วไปจะเก็บไว้ในกลุ่มข้อมูลที่มีป้ายกำกับเท่านั้น ทั้งสองแนวทางสามารถผสมผสานกันได้: ใช้ EM แบบกึ่งมีผู้สอนสำหรับการปรับปรุง และการสอบถามเชิงรุกเพื่อตัดสินใจว่าจะติดป้ายกำกับอะไร

การเรียนรู้เชิงรุกด้วย GMM เหมาะสำหรับการตรวจจับความผิดปกติหรือไม่?

ใช่ แต่ต้องระมัดระวัง แบบจำลอง GMM เริ่มต้นที่ฝึกบนข้อมูลปกติส่วนใหญ่สามารถระบุจุดที่มีความน่าจะเป็นต่ำว่าเป็นความผิดปกติ การสอบถามจุดเหล่านั้นเชิงรุกช่วยให้ผู้ให้คำแนะนำยืนยันหรือปฏิเสธความผิดปกติ โดยค่อยๆ ปรับปรุงขอบเขตระหว่างบริเวณความหนาแน่นปกติและผิดปกติ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว