โมเดล Gaussian Mixture แบบกึ่งมีผู้สอน
- ผู้เสนอ
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- ปี
- 2000
- ประเภท
- Generative semi-supervised classifier
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบบจำลองส่วนผสมแบบเกาส์เซียนกึ่งมีผู้สอน (SS-GMM) เป็นตัวจำแนกประเภทเชิงความน่าจะเป็นแบบก่อกำเนิดที่ปรับแบบจำลองส่วนผสมแบบเกาส์เซียนให้เข้ากับทั้งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ โดยใช้อัลกอริทึม Expectation-Maximization จุดที่มีป้ายกำกับจะจำกัดการกำหนดส่วนประกอบ ในขณะที่จุดที่ไม่มีป้ายกำกับจะปรับปรุงการประมาณค่าความหนาแน่น ทำให้สามารถเรียนรู้ได้อย่างมีประสิทธิภาพเมื่อคำอธิบายประกอบมีน้อย
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพว่าคุณมีตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่าง และตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก แบบจำลองแบบมีผู้สอนล้วนจะเพิกเฉยต่อข้อมูลที่ไม่มีป้ายกำกับโดยสิ้นเชิง การจัดกลุ่มล้วนจะเพิกเฉยต่อป้ายกำกับของคุณ SS-GMM จะหาจุดกึ่งกลาง: มันสร้างแบบจำลองข้อมูลเป็นส่วนผสมของกลุ่มเกาส์เซียน ล็อกจุดที่มีป้ายกำกับไปยังส่วนประกอบที่ถูกต้อง และปล่อยให้จุดที่ไม่มีป้ายกำกับลอยอย่างมีความน่าจะเป็นไปทั่วส่วนประกอบ การวนซ้ำของ EM จะคอยผลักดันเกาส์เซียนให้บรรยายกลุ่มข้อมูลทั้งหมดได้ดีขึ้น ดังนั้นป้ายกำกับที่น้อยนิดจะถูกส่งต่อไปยังส่วนใหญ่ที่ไม่มีป้ายกำกับผ่านโครงสร้างความหนาแน่นที่ใช้ร่วมกัน
ประวัติศาสตร์
SS-GMM เกิดขึ้นจากวรรณกรรมการเรียนรู้แบบกึ่งมีผู้สอนที่กว้างขึ้นในช่วงปลายทศวรรษ 1990 Nigam และคณะ (2000) ได้สาธิตแนวทางนี้สำหรับการจำแนกประเภทข้อความโดยใช้ EM บนแบบจำลองก่อกำเนิด Naive Bayes (กรณีพิเศษของ GMM แบบแนวทแยงมุม) แสดงให้เห็นถึงประโยชน์ที่วัดผลได้จากเอกสารที่ไม่มีป้ายกำกับ กรอบการทำงานทั่วไปได้รับการรวบรวมไว้ในเล่มที่มีอิทธิพลของ MIT Press โดย Chapelle, Scholkopf และ Zien (2006) ซึ่งได้กำหนดให้ SS-GMM เป็นแนวทางเชิงกำเนิดที่เป็นแบบฉบับสำหรับการจำแนกประเภทแบบกึ่งมีผู้สอน ควบคู่ไปกับแนวทางแบบจำแนกประเภทและแบบอิงกราฟ
ควรใช้เมื่อใด
ใช้ SS-GMM เมื่อตัวอย่างที่มีป้ายกำกับมีน้อย แต่ข้อมูลที่ไม่มีป้ายกำกับมีจำนวนมาก และเมื่อการแจกแจงตามเงื่อนไขของคลาส (class-conditional distributions) มีลักษณะใกล้เคียงกับเกาส์เซียน หรือสามารถทำให้เป็นเช่นนั้นได้ด้วยการแปลง เหมาะสำหรับปริภูมิคุณลักษณะต่อเนื่องที่มีมิติต่ำถึงปานกลาง (สูงสุดประมาณ 20–50 คุณลักษณะโดยไม่ต้องลดมิติ) หลีกเลี่ยงการใช้งานเมื่อคุณลักษณะไม่เป็นไปตามการแจกแจงแบบเกาส์เซียนอย่างมาก หรือเป็นประเภทข้อมูล (categorical) เมื่อจำนวนคลาสมีมากเมื่อเทียบกับจำนวนตัวอย่างที่มีป้ายกำกับ เมื่อโครงสร้างกลุ่มไม่สอดคล้องกับขอบเขตของคลาส (สมมติฐานกลุ่มถูกละเมิด) หรือเมื่อแบบจำลองแบบจำแนกประเภท (discriminative model) เช่น semi-supervised SVM หรือ label propagation เหมาะสมกับรูปทรงของข้อมูลมากกว่า
ข้อจำกัดและข้อควรพิจารณา
- ความเหมาะสมของแบบจำลองจะลดลงเมื่อสมมติฐานเกาส์เซียนถูกละเมิดอย่างรุนแรง — อาจจำเป็นต้องใช้การแปลงแบบไม่เชิงเส้นหรือวิธีการเคอร์เนล
- EM ลู่เข้าสู่ค่าเหมาะสมที่สุดเฉพาะที่ (local optimum); ผลลัพธ์มีความอ่อนไหวต่อการเริ่มต้น และจำเป็นต้องมีการเริ่มต้นใหม่หลายครั้ง
- ข้อมูลมิติสูง (curse of dimensionality) ทำให้การประมาณค่าเมทริกซ์ส่วนอัดแปร (covariance) ไม่น่าเชื่อถือหากไม่มีการทำให้เป็นปกติ (regularization) หรือการลดมิติ
- ข้อมูลที่ไม่มีป้ายกำกับอาจส่งผลเสียมากกว่าผลดี หากสมมติฐานกลุ่มไม่เป็นจริง (กลุ่มไม่สอดคล้องกับขอบเขตของคลาส)
- ปรับขนาดได้ไม่ดีสำหรับชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่มากหากไม่มีรูปแบบ stochastic หรือ mini-batch ของ EM
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับเพื่อปรับปรุงการประมาณค่าพารามิเตอร์เมื่อป้ายกำกับมีราคาแพงหรือหายาก
- ให้ความน่าจะเป็นภายหลังของคลาสเชิงกำเนิดที่ถูกต้องตามหลักการ ทำให้สามารถวัดปริมาณความไม่แน่นอนที่ปรับเทียบได้
- แบบจำลองก่อกำเนิดที่โปร่งใสทางคณิตศาสตร์พร้อมการรับประกันการลู่เข้าของ EM ที่เข้าใจได้ดี
- จัดการปัญหาหลายคลาสได้อย่างเป็นธรรมชาติโดยไม่ต้องแยกแบบ one-vs-rest
- สามารถขยายได้ด้วยส่วนประกอบเกาส์เซียนหลายตัวต่อคลาสเพื่อจับการแจกแจงภายในคลาสที่มีหลายรูปแบบ (multimodal)
การประยุกต์ใช้
- การจำแนกประเภทข้อความและเอกสารเมื่อมีข้อความที่สามารถติดป้ายกำกับด้วยตนเองได้เพียงเศษเสี้ยวเล็กน้อย
- การวิเคราะห์ภาพทางการแพทย์ที่การติดป้ายกำกับโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง และภาพสแกนที่ไม่มีป้ายกำกับมีจำนวนมาก
- งานชีวสารสนเทศศาสตร์ เช่น การจัดกลุ่มการแสดงออกของยีนด้วยป้ายกำกับคลาสบางส่วน
- การจำแนกประเภทข้อมูลเซ็นเซอร์และอนุกรมเวลาในการใช้งาน IoT ที่มีข้อมูลจริง (ground-truth) น้อย
- การตรวจจับความผิดปกติแบบกึ่งมีผู้สอนโดยการสร้างแบบจำลองความหนาแน่นของคลาสปกติจากข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
- การเรียนรู้คุณลักษณะในการประมวลผลภาษาธรรมชาติก่อนที่การเรียนรู้เชิงลึก (deep learning) จะกลายเป็นที่แพร่หลาย
วิธีการทำงาน
วิธีการทำงาน
เริ่มต้นพารามิเตอร์ส่วนผสม — ค่าเฉลี่ย ส่วนอัดแปร และน้ำหนักการผสมของส่วนประกอบ — จากชุดข้อมูลที่มีป้ายกำกับเพียงอย่างเดียว (เช่น ค่าเฉลี่ยตามเงื่อนไขของคลาส) หรือผ่าน k-means บนข้อมูลทั้งหมดที่มีอยู่ โดยทั่วไปจำนวนส่วนประกอบ K จะถูกตั้งค่าให้เท่ากับจำนวนคลาสที่ทราบ แม้ว่าส่วนประกอบหลายตัวต่อคลาสจะเป็นไปได้ก็ตาม
สำหรับแต่ละจุดที่ไม่มีป้ายกำกับ ให้คำนวณความรับผิดชอบแบบอ่อน (soft responsibilities): ความน่าจะเป็นภายหลัง (posterior probability) ที่จุด i เป็นของส่วนประกอบ k โดยกำหนดจากพารามิเตอร์ปัจจุบัน จุดที่มีป้ายกำกับจะได้รับการกำหนดแบบแข็ง (hard assignments) — ความรับผิดชอบของจุดนั้นสำหรับส่วนประกอบคลาสที่ถูกต้องจะถูกตั้งค่าเป็นหนึ่งและเป็นศูนย์ในที่อื่น — ซึ่งบังคับใช้การสอนโดยไม่ทำลายกรอบการทำงานของ EM
สูตร
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}ข้อจำกัดการกำหนดแบบแข็งบนจุดที่มีป้ายกำกับคือความแตกต่างที่สำคัญจาก GMM แบบไม่มีผู้สอน มันยึดอัตลักษณ์ของส่วนประกอบเข้ากับความหมายของคลาส ป้องกันปัญหาการสลับป้ายกำกับ (label-switching problem) ที่รู้จักกันดี และรับประกันว่าโครงสร้างกลุ่มที่เรียนรู้จากข้อมูลที่ไม่มีป้ายกำกับสามารถตีความได้ในแง่ของคลาสที่ทราบ
ปรับปรุงพารามิเตอร์ส่วนผสมทั้งหมดโดยใช้สถิติที่ถ่วงน้ำหนักด้วยความรับผิดชอบรวมจากทั้งจุดที่มีป้ายกำกับและไม่มีป้ายกำกับ เนื่องจากจุดที่ไม่มีป้ายกำกับมีส่วนร่วมด้วยจำนวนนับแบบเศษส่วนกับทุกส่วนประกอบ จึงช่วยปรับให้เรียบและทำให้การประมาณค่าพารามิเตอร์มีความเสถียรในบริเวณที่ข้อมูลที่มีป้ายกำกับมีน้อย
สูตร
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}ทำซ้ำขั้นตอน E และ M จนกว่าความน่าจะเป็นของข้อมูลที่สังเกตได้ (log-likelihood) (รวมทั้งจุดที่มีป้ายกำกับและไม่มีป้ายกำกับ) จะหยุดเพิ่มขึ้นเกินค่าความคลาดเคลื่อนเล็กน้อย ตรวจสอบการลู่เข้าอย่างระมัดระวัง: แนะนำให้ทำการเริ่มต้นใหม่หลายครั้งเนื่องจาก EM จะลู่เข้าสู่ค่าเหมาะสมที่สุดเฉพาะที่ (local optimum) และผลลัพธ์สุดท้ายขึ้นอยู่กับการเริ่มต้น
จำแนกจุดใหม่โดยการหาค่าส่วนประกอบที่มีความน่าจะเป็นภายหลังสูงสุด โดยกำหนดจากพารามิเตอร์ที่ลู่เข้าแล้ว คลาสที่ทำนายคือป้ายกำกับที่เกี่ยวข้องกับส่วนประกอบนั้น ความน่าจะเป็นภายหลังระหว่างส่วนประกอบต่างๆ ยังสามารถใช้เป็นคะแนนความเชื่อมั่นที่ปรับเทียบได้ (calibrated confidence scores)
สูตร
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)ข้อผิดพลาดที่พบบ่อย
- การรันการเริ่มต้น EM เพียงครั้งเดียวและยอมรับผลลัพธ์ที่ลู่เข้าครั้งแรก — ควรใช้การเริ่มต้นใหม่หลายครั้งเสมอ
- การตั้งค่า K ให้เท่ากับจำนวนคลาสโดยไม่พิจารณาการแจกแจงหลายรูปแบบภายในคลาส (multimodality) ซึ่งนำไปสู่การจับความหนาแน่นที่ไม่ดี
- การใช้แบบจำลองในมิติสูงโดยไม่ได้ลดมิติก่อนหรือทำให้เมทริกซ์ส่วนอัดแปรเป็นปกติ (เช่น เมทริกซ์แนวทแยงมุม หรือเมทริกซ์ที่ผูกติดกัน)
- การสมมติว่าข้อมูลที่ไม่มีป้ายกำกับจะช่วยเสมอ — หากสมมติฐานกลุ่มและแมนิโฟลด์ถูกละเมิด ข้อมูลที่ไม่มีป้ายกำกับอาจทำให้ความแม่นยำลดลง
- การละเลยการถ่วงน้ำหนักเทอม log-likelihood ของข้อมูลที่มีป้ายกำกับอย่างเหมาะสม วิธีแก้ไขทั่วไปคือการเพิ่มน้ำหนักการมีส่วนร่วมของจุดที่มีป้ายกำกับด้วยตัวคูณ lambda
คำถามที่พบบ่อย
SS-GMM แตกต่างจาก GMM แบบไม่มีผู้สอนอย่างไร?
GMM แบบไม่มีผู้สอนจะค้นหาโครงสร้างกลุ่มโดยไม่มีความรู้เกี่ยวกับป้ายกำกับคลาส และประสบปัญหาการสลับป้ายกำกับ — ดัชนีกลุ่มไม่มีความหมายเชิงความหมาย SS-GMM จะยึดจุดที่มีป้ายกำกับเข้ากับส่วนประกอบที่ถูกต้องในระหว่างขั้นตอน E แต่ละขั้นตอน โดยยึดอัตลักษณ์ของกลุ่มเข้ากับความหมายของคลาส และอนุญาตให้จุดที่ไม่มีป้ายกำกับปรับปรุงการประมาณค่าความหนาแน่น
จะเกิดอะไรขึ้นหากข้อมูลที่ไม่มีป้ายกำกับทำให้ความแม่นยำของฉันลดลง?
นี่คือปัญหา 'การละเมิดสมมติฐานกลุ่ม' (cluster assumption violation): หากขอบเขตของคลาสไม่สอดคล้องกับกลุ่มความหนาแน่นตามธรรมชาติ ข้อมูลที่ไม่มีป้ายกำกับจะนำแบบจำลองไปในทิศทางที่ผิด ขั้นตอนการวินิจฉัย ได้แก่ การแสดงข้อมูลใน 2 มิติ (PCA/t-SNE) การเพิ่มน้ำหนัก lambda บนจุดที่มีป้ายกำกับ หรือการเปลี่ยนไปใช้ระเบียบวิธีแบบกึ่งมีผู้สอนแบบจำแนกประเภท เช่น semi-supervised SVM
ฉันควรใช้ส่วนประกอบเกาส์เซียนกี่ตัวต่อคลาส?
เริ่มต้นด้วยส่วนประกอบหนึ่งตัวต่อคลาส หากคลาสมีการแจกแจงหลายรูปแบบที่ชัดเจน (เช่น กลุ่มย่อยสองกลุ่ม) ให้ใช้ส่วนประกอบสองตัวหรือมากกว่าสำหรับคลาสนั้น ใช้ BIC หรือ likelihood บนชุดข้อมูลที่มีป้ายกำกับเพื่อเปรียบเทียบอันดับของแบบจำลองโดยไม่เกิด over-fitting
ฉันควรใช้เมทริกซ์ส่วนอัดแปรแบบเต็ม (full), แบบแนวทแยงมุม (diagonal) หรือแบบผูกติดกัน (tied) หรือไม่?
เมทริกซ์ส่วนอัดแปรแบบเต็มมีความยืดหยุ่นมากที่สุด แต่ต้องการตัวอย่างจำนวนมากต่อส่วนประกอบ เมทริกซ์ส่วนอัดแปรแบบแนวทแยงมุม (สมมติว่าคุณลักษณะเป็นอิสระต่อกัน) เป็นค่าเริ่มต้นที่ปลอดภัยที่สุดในมิติปานกลางถึงสูง เมทริกซ์ส่วนอัดแปรแบบผูกติดกัน (ทุกส่วนประกอบใช้เมทริกซ์ร่วมกัน) ช่วยลดจำนวนพารามิเตอร์ และเหมาะสำหรับกรณีที่คลาสมีการกระจายตัวคล้ายคลึงกัน
มีน้ำหนักสำหรับการมีส่วนร่วมของข้อมูลที่มีป้ายกำกับเทียบกับข้อมูลที่ไม่มีป้ายกำกับหรือไม่?
มี. ส่วนขยายทั่วไปคือการคูณ log-likelihood ของข้อมูลที่มีป้ายกำกับด้วยตัวคูณ lambda > 1 เพื่อชดเชยจำนวนจุดที่ไม่มีป้ายกำกับซึ่งมักจะมากกว่ามาก หากไม่มีสิ่งนี้ ส่วนใหญ่ที่ไม่มีป้ายกำกับอาจมีอิทธิพลต่อการปรับปรุงพารามิเตอร์และลบล้างสัญญาณการสอน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9คัดลอกแล้วNigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว