Skip to content
กลับไปยังผลการค้นหา

โมเดล Gaussian Mixture แบบกึ่งมีผู้สอน

ผู้เสนอ
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
ปี
2000
ประเภท
Generative semi-supervised classifier
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองส่วนผสมแบบเกาส์เซียนกึ่งมีผู้สอน (SS-GMM) เป็นตัวจำแนกประเภทเชิงความน่าจะเป็นแบบก่อกำเนิดที่ปรับแบบจำลองส่วนผสมแบบเกาส์เซียนให้เข้ากับทั้งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ โดยใช้อัลกอริทึม Expectation-Maximization จุดที่มีป้ายกำกับจะจำกัดการกำหนดส่วนประกอบ ในขณะที่จุดที่ไม่มีป้ายกำกับจะปรับปรุงการประมาณค่าความหนาแน่น ทำให้สามารถเรียนรู้ได้อย่างมีประสิทธิภาพเมื่อคำอธิบายประกอบมีน้อย

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพว่าคุณมีตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่าง และตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก แบบจำลองแบบมีผู้สอนล้วนจะเพิกเฉยต่อข้อมูลที่ไม่มีป้ายกำกับโดยสิ้นเชิง การจัดกลุ่มล้วนจะเพิกเฉยต่อป้ายกำกับของคุณ SS-GMM จะหาจุดกึ่งกลาง: มันสร้างแบบจำลองข้อมูลเป็นส่วนผสมของกลุ่มเกาส์เซียน ล็อกจุดที่มีป้ายกำกับไปยังส่วนประกอบที่ถูกต้อง และปล่อยให้จุดที่ไม่มีป้ายกำกับลอยอย่างมีความน่าจะเป็นไปทั่วส่วนประกอบ การวนซ้ำของ EM จะคอยผลักดันเกาส์เซียนให้บรรยายกลุ่มข้อมูลทั้งหมดได้ดีขึ้น ดังนั้นป้ายกำกับที่น้อยนิดจะถูกส่งต่อไปยังส่วนใหญ่ที่ไม่มีป้ายกำกับผ่านโครงสร้างความหนาแน่นที่ใช้ร่วมกัน

ประวัติศาสตร์

SS-GMM เกิดขึ้นจากวรรณกรรมการเรียนรู้แบบกึ่งมีผู้สอนที่กว้างขึ้นในช่วงปลายทศวรรษ 1990 Nigam และคณะ (2000) ได้สาธิตแนวทางนี้สำหรับการจำแนกประเภทข้อความโดยใช้ EM บนแบบจำลองก่อกำเนิด Naive Bayes (กรณีพิเศษของ GMM แบบแนวทแยงมุม) แสดงให้เห็นถึงประโยชน์ที่วัดผลได้จากเอกสารที่ไม่มีป้ายกำกับ กรอบการทำงานทั่วไปได้รับการรวบรวมไว้ในเล่มที่มีอิทธิพลของ MIT Press โดย Chapelle, Scholkopf และ Zien (2006) ซึ่งได้กำหนดให้ SS-GMM เป็นแนวทางเชิงกำเนิดที่เป็นแบบฉบับสำหรับการจำแนกประเภทแบบกึ่งมีผู้สอน ควบคู่ไปกับแนวทางแบบจำแนกประเภทและแบบอิงกราฟ

ควรใช้เมื่อใด

ใช้ SS-GMM เมื่อตัวอย่างที่มีป้ายกำกับมีน้อย แต่ข้อมูลที่ไม่มีป้ายกำกับมีจำนวนมาก และเมื่อการแจกแจงตามเงื่อนไขของคลาส (class-conditional distributions) มีลักษณะใกล้เคียงกับเกาส์เซียน หรือสามารถทำให้เป็นเช่นนั้นได้ด้วยการแปลง เหมาะสำหรับปริภูมิคุณลักษณะต่อเนื่องที่มีมิติต่ำถึงปานกลาง (สูงสุดประมาณ 20–50 คุณลักษณะโดยไม่ต้องลดมิติ) หลีกเลี่ยงการใช้งานเมื่อคุณลักษณะไม่เป็นไปตามการแจกแจงแบบเกาส์เซียนอย่างมาก หรือเป็นประเภทข้อมูล (categorical) เมื่อจำนวนคลาสมีมากเมื่อเทียบกับจำนวนตัวอย่างที่มีป้ายกำกับ เมื่อโครงสร้างกลุ่มไม่สอดคล้องกับขอบเขตของคลาส (สมมติฐานกลุ่มถูกละเมิด) หรือเมื่อแบบจำลองแบบจำแนกประเภท (discriminative model) เช่น semi-supervised SVM หรือ label propagation เหมาะสมกับรูปทรงของข้อมูลมากกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ความเหมาะสมของแบบจำลองจะลดลงเมื่อสมมติฐานเกาส์เซียนถูกละเมิดอย่างรุนแรง — อาจจำเป็นต้องใช้การแปลงแบบไม่เชิงเส้นหรือวิธีการเคอร์เนล
  • EM ลู่เข้าสู่ค่าเหมาะสมที่สุดเฉพาะที่ (local optimum); ผลลัพธ์มีความอ่อนไหวต่อการเริ่มต้น และจำเป็นต้องมีการเริ่มต้นใหม่หลายครั้ง
  • ข้อมูลมิติสูง (curse of dimensionality) ทำให้การประมาณค่าเมทริกซ์ส่วนอัดแปร (covariance) ไม่น่าเชื่อถือหากไม่มีการทำให้เป็นปกติ (regularization) หรือการลดมิติ
  • ข้อมูลที่ไม่มีป้ายกำกับอาจส่งผลเสียมากกว่าผลดี หากสมมติฐานกลุ่มไม่เป็นจริง (กลุ่มไม่สอดคล้องกับขอบเขตของคลาส)
  • ปรับขนาดได้ไม่ดีสำหรับชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่มากหากไม่มีรูปแบบ stochastic หรือ mini-batch ของ EM

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับเพื่อปรับปรุงการประมาณค่าพารามิเตอร์เมื่อป้ายกำกับมีราคาแพงหรือหายาก
  • ให้ความน่าจะเป็นภายหลังของคลาสเชิงกำเนิดที่ถูกต้องตามหลักการ ทำให้สามารถวัดปริมาณความไม่แน่นอนที่ปรับเทียบได้
  • แบบจำลองก่อกำเนิดที่โปร่งใสทางคณิตศาสตร์พร้อมการรับประกันการลู่เข้าของ EM ที่เข้าใจได้ดี
  • จัดการปัญหาหลายคลาสได้อย่างเป็นธรรมชาติโดยไม่ต้องแยกแบบ one-vs-rest
  • สามารถขยายได้ด้วยส่วนประกอบเกาส์เซียนหลายตัวต่อคลาสเพื่อจับการแจกแจงภายในคลาสที่มีหลายรูปแบบ (multimodal)

การประยุกต์ใช้

  • การจำแนกประเภทข้อความและเอกสารเมื่อมีข้อความที่สามารถติดป้ายกำกับด้วยตนเองได้เพียงเศษเสี้ยวเล็กน้อย
  • การวิเคราะห์ภาพทางการแพทย์ที่การติดป้ายกำกับโดยผู้เชี่ยวชาญมีค่าใช้จ่ายสูง และภาพสแกนที่ไม่มีป้ายกำกับมีจำนวนมาก
  • งานชีวสารสนเทศศาสตร์ เช่น การจัดกลุ่มการแสดงออกของยีนด้วยป้ายกำกับคลาสบางส่วน
  • การจำแนกประเภทข้อมูลเซ็นเซอร์และอนุกรมเวลาในการใช้งาน IoT ที่มีข้อมูลจริง (ground-truth) น้อย
  • การตรวจจับความผิดปกติแบบกึ่งมีผู้สอนโดยการสร้างแบบจำลองความหนาแน่นของคลาสปกติจากข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
  • การเรียนรู้คุณลักษณะในการประมวลผลภาษาธรรมชาติก่อนที่การเรียนรู้เชิงลึก (deep learning) จะกลายเป็นที่แพร่หลาย

วิธีการทำงาน

วิธีการทำงาน

1

เริ่มต้นพารามิเตอร์ส่วนผสม — ค่าเฉลี่ย ส่วนอัดแปร และน้ำหนักการผสมของส่วนประกอบ — จากชุดข้อมูลที่มีป้ายกำกับเพียงอย่างเดียว (เช่น ค่าเฉลี่ยตามเงื่อนไขของคลาส) หรือผ่าน k-means บนข้อมูลทั้งหมดที่มีอยู่ โดยทั่วไปจำนวนส่วนประกอบ K จะถูกตั้งค่าให้เท่ากับจำนวนคลาสที่ทราบ แม้ว่าส่วนประกอบหลายตัวต่อคลาสจะเป็นไปได้ก็ตาม

2

สำหรับแต่ละจุดที่ไม่มีป้ายกำกับ ให้คำนวณความรับผิดชอบแบบอ่อน (soft responsibilities): ความน่าจะเป็นภายหลัง (posterior probability) ที่จุด i เป็นของส่วนประกอบ k โดยกำหนดจากพารามิเตอร์ปัจจุบัน จุดที่มีป้ายกำกับจะได้รับการกำหนดแบบแข็ง (hard assignments) — ความรับผิดชอบของจุดนั้นสำหรับส่วนประกอบคลาสที่ถูกต้องจะถูกตั้งค่าเป็นหนึ่งและเป็นศูนย์ในที่อื่น — ซึ่งบังคับใช้การสอนโดยไม่ทำลายกรอบการทำงานของ EM

สูตร
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}
3

ข้อจำกัดการกำหนดแบบแข็งบนจุดที่มีป้ายกำกับคือความแตกต่างที่สำคัญจาก GMM แบบไม่มีผู้สอน มันยึดอัตลักษณ์ของส่วนประกอบเข้ากับความหมายของคลาส ป้องกันปัญหาการสลับป้ายกำกับ (label-switching problem) ที่รู้จักกันดี และรับประกันว่าโครงสร้างกลุ่มที่เรียนรู้จากข้อมูลที่ไม่มีป้ายกำกับสามารถตีความได้ในแง่ของคลาสที่ทราบ

4

ปรับปรุงพารามิเตอร์ส่วนผสมทั้งหมดโดยใช้สถิติที่ถ่วงน้ำหนักด้วยความรับผิดชอบรวมจากทั้งจุดที่มีป้ายกำกับและไม่มีป้ายกำกับ เนื่องจากจุดที่ไม่มีป้ายกำกับมีส่วนร่วมด้วยจำนวนนับแบบเศษส่วนกับทุกส่วนประกอบ จึงช่วยปรับให้เรียบและทำให้การประมาณค่าพารามิเตอร์มีความเสถียรในบริเวณที่ข้อมูลที่มีป้ายกำกับมีน้อย

สูตร
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}
5

ทำซ้ำขั้นตอน E และ M จนกว่าความน่าจะเป็นของข้อมูลที่สังเกตได้ (log-likelihood) (รวมทั้งจุดที่มีป้ายกำกับและไม่มีป้ายกำกับ) จะหยุดเพิ่มขึ้นเกินค่าความคลาดเคลื่อนเล็กน้อย ตรวจสอบการลู่เข้าอย่างระมัดระวัง: แนะนำให้ทำการเริ่มต้นใหม่หลายครั้งเนื่องจาก EM จะลู่เข้าสู่ค่าเหมาะสมที่สุดเฉพาะที่ (local optimum) และผลลัพธ์สุดท้ายขึ้นอยู่กับการเริ่มต้น

6

จำแนกจุดใหม่โดยการหาค่าส่วนประกอบที่มีความน่าจะเป็นภายหลังสูงสุด โดยกำหนดจากพารามิเตอร์ที่ลู่เข้าแล้ว คลาสที่ทำนายคือป้ายกำกับที่เกี่ยวข้องกับส่วนประกอบนั้น ความน่าจะเป็นภายหลังระหว่างส่วนประกอบต่างๆ ยังสามารถใช้เป็นคะแนนความเชื่อมั่นที่ปรับเทียบได้ (calibrated confidence scores)

สูตร
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)

ข้อผิดพลาดที่พบบ่อย

  • การรันการเริ่มต้น EM เพียงครั้งเดียวและยอมรับผลลัพธ์ที่ลู่เข้าครั้งแรก — ควรใช้การเริ่มต้นใหม่หลายครั้งเสมอ
  • การตั้งค่า K ให้เท่ากับจำนวนคลาสโดยไม่พิจารณาการแจกแจงหลายรูปแบบภายในคลาส (multimodality) ซึ่งนำไปสู่การจับความหนาแน่นที่ไม่ดี
  • การใช้แบบจำลองในมิติสูงโดยไม่ได้ลดมิติก่อนหรือทำให้เมทริกซ์ส่วนอัดแปรเป็นปกติ (เช่น เมทริกซ์แนวทแยงมุม หรือเมทริกซ์ที่ผูกติดกัน)
  • การสมมติว่าข้อมูลที่ไม่มีป้ายกำกับจะช่วยเสมอ — หากสมมติฐานกลุ่มและแมนิโฟลด์ถูกละเมิด ข้อมูลที่ไม่มีป้ายกำกับอาจทำให้ความแม่นยำลดลง
  • การละเลยการถ่วงน้ำหนักเทอม log-likelihood ของข้อมูลที่มีป้ายกำกับอย่างเหมาะสม วิธีแก้ไขทั่วไปคือการเพิ่มน้ำหนักการมีส่วนร่วมของจุดที่มีป้ายกำกับด้วยตัวคูณ lambda

คำถามที่พบบ่อย

SS-GMM แตกต่างจาก GMM แบบไม่มีผู้สอนอย่างไร?

GMM แบบไม่มีผู้สอนจะค้นหาโครงสร้างกลุ่มโดยไม่มีความรู้เกี่ยวกับป้ายกำกับคลาส และประสบปัญหาการสลับป้ายกำกับ — ดัชนีกลุ่มไม่มีความหมายเชิงความหมาย SS-GMM จะยึดจุดที่มีป้ายกำกับเข้ากับส่วนประกอบที่ถูกต้องในระหว่างขั้นตอน E แต่ละขั้นตอน โดยยึดอัตลักษณ์ของกลุ่มเข้ากับความหมายของคลาส และอนุญาตให้จุดที่ไม่มีป้ายกำกับปรับปรุงการประมาณค่าความหนาแน่น

จะเกิดอะไรขึ้นหากข้อมูลที่ไม่มีป้ายกำกับทำให้ความแม่นยำของฉันลดลง?

นี่คือปัญหา 'การละเมิดสมมติฐานกลุ่ม' (cluster assumption violation): หากขอบเขตของคลาสไม่สอดคล้องกับกลุ่มความหนาแน่นตามธรรมชาติ ข้อมูลที่ไม่มีป้ายกำกับจะนำแบบจำลองไปในทิศทางที่ผิด ขั้นตอนการวินิจฉัย ได้แก่ การแสดงข้อมูลใน 2 มิติ (PCA/t-SNE) การเพิ่มน้ำหนัก lambda บนจุดที่มีป้ายกำกับ หรือการเปลี่ยนไปใช้ระเบียบวิธีแบบกึ่งมีผู้สอนแบบจำแนกประเภท เช่น semi-supervised SVM

ฉันควรใช้ส่วนประกอบเกาส์เซียนกี่ตัวต่อคลาส?

เริ่มต้นด้วยส่วนประกอบหนึ่งตัวต่อคลาส หากคลาสมีการแจกแจงหลายรูปแบบที่ชัดเจน (เช่น กลุ่มย่อยสองกลุ่ม) ให้ใช้ส่วนประกอบสองตัวหรือมากกว่าสำหรับคลาสนั้น ใช้ BIC หรือ likelihood บนชุดข้อมูลที่มีป้ายกำกับเพื่อเปรียบเทียบอันดับของแบบจำลองโดยไม่เกิด over-fitting

ฉันควรใช้เมทริกซ์ส่วนอัดแปรแบบเต็ม (full), แบบแนวทแยงมุม (diagonal) หรือแบบผูกติดกัน (tied) หรือไม่?

เมทริกซ์ส่วนอัดแปรแบบเต็มมีความยืดหยุ่นมากที่สุด แต่ต้องการตัวอย่างจำนวนมากต่อส่วนประกอบ เมทริกซ์ส่วนอัดแปรแบบแนวทแยงมุม (สมมติว่าคุณลักษณะเป็นอิสระต่อกัน) เป็นค่าเริ่มต้นที่ปลอดภัยที่สุดในมิติปานกลางถึงสูง เมทริกซ์ส่วนอัดแปรแบบผูกติดกัน (ทุกส่วนประกอบใช้เมทริกซ์ร่วมกัน) ช่วยลดจำนวนพารามิเตอร์ และเหมาะสำหรับกรณีที่คลาสมีการกระจายตัวคล้ายคลึงกัน

มีน้ำหนักสำหรับการมีส่วนร่วมของข้อมูลที่มีป้ายกำกับเทียบกับข้อมูลที่ไม่มีป้ายกำกับหรือไม่?

มี. ส่วนขยายทั่วไปคือการคูณ log-likelihood ของข้อมูลที่มีป้ายกำกับด้วยตัวคูณ lambda > 1 เพื่อชดเชยจำนวนจุดที่ไม่มีป้ายกำกับซึ่งมักจะมากกว่ามาก หากไม่มีสิ่งนี้ ส่วนใหญ่ที่ไม่มีป้ายกำกับอาจมีอิทธิพลต่อการปรับปรุงพารามิเตอร์และลบล้างสัญญาณการสอน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    คัดลอกแล้ว
  2. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว