แบบจำลองส่วนผสมแบบเกาส์เซียนแบบเบย์ (Bayesian Gaussian Mixture Model)
- ผู้เสนอ
- Attias, H.; Bishop, C. M.
- ปี
- 1999–2006
- ประเภท
- Probabilistic clustering / density estimation
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบบจำลองส่วนผสมแบบเกาส์เซียนแบบเบย์กำหนดการแจกแจงก่อน (prior distributions) เหนือพารามิเตอร์ส่วนผสมทั้งหมด และอนุมานการแจกแจงภายหลัง (posteriors) ของพารามิเตอร์เหล่านั้น ซึ่งโดยทั่วไปจะผ่านวิธีการ Variational Bayes หรือ MCMC แทนที่จะปรับค่าประมาณแบบจุด (fixed point estimates) วิธีการนี้ให้การวัดปริมาณความไม่แน่นอนที่มีหลักการ การเลือกจำนวนส่วนประกอบที่มีประสิทธิภาพโดยอัตโนมัติ และความทนทานต่อการเกิดภาวะเรียนรู้เกิน (overfitting) ในชุดข้อมูลขนาดเล็ก
แนวคิดเบื้องหลังวิธีการ
แบบจำลองส่วนผสมแบบเกาส์เซียน (GMM) แบบมาตรฐานจะถามว่าควรมีจำนวนคลัสเตอร์เท่าใด แล้วจึงกำหนดจำนวนนั้นให้คงที่ โดยปรับค่าเฉลี่ย (means) และความแปรปรวนร่วม (covariances) ให้เหมาะสมที่สุดด้วยอัลกอริทึม EM ในขณะที่แบบจำลองแบบเบย์จะเก็บการแจกแจงความน่าจะเป็น (probability distributions) ไว้สำหรับทุกพารามิเตอร์ กล่าวคือ ยังคงมีความไม่แน่นอนเกี่ยวกับตำแหน่ง รูปร่างของแต่ละคลัสเตอร์ และแม้กระทั่งว่าจำเป็นต้องมีคลัสเตอร์นั้นหรือไม่ ส่วนประกอบที่ข้อมูลไม่สนับสนุนจะถูกลดน้ำหนักลงโดยอัตโนมัติผ่าน prior ทำให้แบบจำลองสามารถกำหนดความซับซ้อนที่มีประสิทธิภาพของตนเองได้โดยไม่ต้องทำการเลือกแบบจำลองผ่านการตรวจสอบไขว้ (cross-validated model selection) สำหรับค่า K หลายค่า
ประวัติศาสตร์
การใช้แบบจำลองแบบเบย์กับแบบจำลองส่วนผสมได้รับการทำให้เป็นทางการผ่าน MCMC samplers ในช่วงทศวรรษ 1990 Attias (1999) ได้นำเสนอแนวทาง variational Bayes สำหรับ GMM และกรอบงานนี้ได้รับความนิยมและเป็นระบบโดย Bishop (2006) ในหนังสือ Pattern Recognition and Machine Learning ซึ่งบทที่ 10 นำเสนอการอนุมานทั้งหมด การขยายแบบไม่พาราเมตริกโดยใช้ Dirichlet Process priors ซึ่งอนุญาตให้มี K ที่เปิดกว้างอย่างแท้จริง ตามมาในปี Rasmussen (2000) และ Blei & Jordan (2006)
ควรใช้เมื่อใด
ควรใช้เมื่อต้องการการแบ่งกลุ่มแบบอ่อนเชิงความน่าจะเป็น (probabilistic soft clustering) หรือการประมาณค่าความหนาแน่น (density estimation) บนข้อมูลต่อเนื่องหลายตัวแปร (continuous multivariate data) และต้องการหลีกเลี่ยงการกำหนดจำนวนส่วนประกอบ K ล่วงหน้า หรือเมื่อต้องการการประมาณค่าความไม่แน่นอนรอบๆ การกำหนดคลัสเตอร์และพารามิเตอร์ เหมาะอย่างยิ่งสำหรับชุดข้อมูลขนาดเล็กถึงปานกลาง (หลักสิบถึงหลักหมื่นการสังเกต) ที่ GMM แบบ EM มาตรฐานเกิดภาวะเรียนรู้เกิน ไม่เหมาะสำหรับข้อมูลที่มีมิติสูงมากหากไม่มีการลดมิติ สำหรับคุณลักษณะที่เป็นหมวดหมู่หรือลำดับเท่านั้น หรือเมื่อต้องการเพียงการแบ่งกลุ่มแบบแข็งที่ไม่ใช่เชิงความน่าจะเป็นและต้องการความเร็วสูงสุด
ข้อจำกัดและข้อควรพิจารณา
- Variational Bayes หาค่าที่เหมาะสมที่สุดเฉพาะที่ (local optimum) ของ ELBO ไม่ใช่ posterior ทั่วไป ผลลัพธ์อาจขึ้นอยู่กับการเริ่มต้น
- การเลือก prior hyperparameters (โดยเฉพาะความเข้มข้นของ Dirichlet) ส่งผลต่อส่วนประกอบที่จะอยู่รอด และต้องมีเหตุผลรองรับ
- มีค่าใช้จ่ายในการคำนวณสูงกว่า EM-GMM มาตรฐานต่อรอบ และยากต่อการนำไปใช้ตั้งแต่ต้น
- ข้อมูลมิติสูง (มีคุณลักษณะจำนวนมาก) ต้องการการกำหนดพารามิเตอร์ความแปรปรวนร่วมอย่างระมัดระวัง หรือการลดมิติแบบ prior
- การตีความ posteriors ของส่วนประกอบต้องการความคุ้นเคยกับแนวคิดของ variational inference
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ตัดส่วนประกอบที่ไม่ได้ใช้งานออกโดยอัตโนมัติ ลดความจำเป็นในการกำหนด K ล่วงหน้าผ่านการค้นหาแบบกริดซ้ำๆ
- ส่งคืนการแจกแจง posterior เต็มรูปแบบเหนือพารามิเตอร์ ทำให้สามารถวัดปริมาณความไม่แน่นอนที่ปรับเทียบแล้ว (calibrated uncertainty quantification) ในการกำหนดคลัสเตอร์
- ทนทานต่อภาวะเรียนรู้เกินในชุดข้อมูลขนาดเล็ก เนื่องจาก prior ช่วยปรับระเบียบ (regularizes) ความแปรปรวนร่วมและน้ำหนักของส่วนประกอบ
- การกำหนดค่าแบบอ่อน (Soft assignments) ทำให้เหมาะสำหรับไปป์ไลน์เชิงความน่าจะเป็น (probabilistic pipelines) และเครือข่ายประมาณค่าความหนาแน่นแบบส่วนผสม (mixture density networks) ในขั้นตอนถัดไป
- การนำ Variational Bayes ไปใช้มีสเกลที่ดีกว่า MCMC แบบเต็ม ในขณะที่ยังคงรักษาประโยชน์ของแบบจำลองแบบเบย์
การประยุกต์ใช้
- การระบุตัวตนผู้พูด (Speaker diarization) และการแบ่งส่วนเสียง (audio segmentation) เมื่อไม่ทราบจำนวนผู้พูด
- การตรวจจับความผิดปกติ (Anomaly detection) โดยการระบุการสังเกตที่ได้รับความน่าจะเป็นต่ำภายใต้ส่วนประกอบที่เรียนรู้ทั้งหมด
- การแบ่งส่วนภาพ (Image segmentation) และการควอนไทซ์สี (color quantization) ด้วยการกำหนดสมาชิกภาพแบบอ่อนจากพิกเซลไปยังคลัสเตอร์
- การประมาณค่าความหนาแน่นสำหรับการสร้างแบบจำลอง (generative modelling) และการจำลองข้อมูลต่อเนื่องหลายตัวแปร
- การจัดกลุ่มโปรไฟล์ผู้ป่วยทางพันธุกรรม (genomic) หรือทางคลินิก (clinical) เมื่อไม่แน่ใจในจำนวนประเภทย่อยที่แท้จริง
- การเริ่มต้นแบบจำลองสร้างแบบจำลองที่ซับซ้อนยิ่งขึ้น เช่น variational autoencoders
วิธีการทำงาน
วิธีการทำงาน
กำหนด prior แบบสังยุค (conjugate priors) ไว้สำหรับสัดส่วนการผสม (mixing proportions) (Dirichlet), ค่าเฉลี่ยของส่วนประกอบ (component means) (Gaussian), และเมทริกซ์ความแม่นยำ (precision matrices) (Wishart) พารามิเตอร์ความเข้มข้น (concentration parameter) ของการแจกแจง Dirichlet จะควบคุมการกระจายน้ำหนักของส่วนผสมไปยังส่วนประกอบต่างๆ: ค่าที่น้อยจะผลักดันน้ำหนักไปยังคลัสเตอร์จำนวนน้อย ซึ่งเป็นการลงโทษส่วนประกอบที่ไม่จำเป็นอย่างมีประสิทธิภาพ
สูตร
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)ขั้นตอน variational E-step จะคำนวณค่าความรับผิดชอบแบบอ่อน (soft responsibilities) r_nk ซึ่งคือความน่าจะเป็นภายหลังโดยประมาณที่การสังเกต n เป็นของส่วนประกอบ k โดยใช้ค่าคาดหวังปัจจุบันของ log mixing weights และ log precision determinants แทนค่าประมาณแบบจุด ดังนั้น ความไม่แน่นอนของพารามิเตอร์จึงถูกส่งต่อไปยังการกำหนดคลัสเตอร์
สูตร
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]สถิติเพียงพอ (Sufficient statistics) สำหรับแต่ละส่วนประกอบจะถูกสะสมจากค่าความรับผิดชอบแบบอ่อน: จำนวนนับที่มีประสิทธิภาพ (effective count) N_k, ค่าเฉลี่ยถ่วงน้ำหนัก (weighted mean), และเมทริกซ์การกระจายถ่วงน้ำหนัก (weighted scatter matrix) สิ่งเหล่านี้จะเข้ามาแทนที่ค่าเทียบเท่าของ EM ที่ใช้จำนวนนับแบบแข็ง (hard-count) และขับเคลื่อนการปรับปรุง posterior ของพารามิเตอร์ในขั้นตอนถัดไป
สูตร
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\topพารามิเตอร์ธรรมชาติ (natural parameters) ของแต่ละ posterior แบบสังยุคจะถูกปรับปรุงโดยการบวกสถิติเพียงพอเข้ากับ hyperparameters ของ prior การแจกแจง Dirichlet posterior จะลดจำนวนส่วนประกอบที่มี N_k ต่ำลงให้มีน้ำหนักเข้าใกล้ศูนย์ เป็นการดำเนินการตัดส่วนประกอบที่ไม่ได้ใช้งานออกโดยอัตโนมัติ
สูตร
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
การลู่เข้า (Convergence) จะถูกตรวจสอบโดย Evidence Lower BOund (ELBO) ซึ่งเป็นขอบเขตล่างของ log marginal likelihood ELBO จะรับประกันว่าจะไม่ลดลงในแต่ละรอบของ variational EM การวนซ้ำจะดำเนินต่อไปจนกว่าการปรับปรุงจะต่ำกว่าค่าที่กำหนดไว้
สูตร
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]ข้อผิดพลาดที่พบบ่อย
- การกำหนดจำนวนส่วนประกอบเริ่มต้น K น้อยเกินไป ป้องกันไม่ให้แบบจำลองค้นพบโครงสร้างที่แท้จริงทั้งหมด แม้ว่าส่วนประกอบที่ไม่ได้ใช้งานจะถูกตัดออกไปแล้วก็ตาม
- การละเลยความไวต่อความเข้มข้นของ Dirichlet prior โดยไม่ทำการทดสอบ hyperparameter เล็กน้อย
- การเชื่อการเริ่มต้นแบบสุ่มเพียงครั้งเดียว การเริ่มต้นหลายครั้งพร้อมกับการเลือก ELBO ที่ดีที่สุดเป็นสิ่งสำคัญ
- การนำแบบจำลองไปใช้กับข้อมูลแบบไม่ต่อเนื่อง (discrete) หรือแบบผสม (mixed-type) โดยไม่มีการแปลงคุณลักษณะให้อยู่ในรูปแบบประมาณค่าเกาส์เซียนต่อเนื่อง
- การรายงานเฉพาะป้ายกำกับคลัสเตอร์โดยไม่มีค่าความรับผิดชอบแบบอ่อน เป็นการทิ้งผลลัพธ์เชิงความน่าจะเป็นที่สำคัญของแบบจำลองไป
คำถามที่พบบ่อย
แตกต่างจาก GMM ที่ปรับด้วย EM มาตรฐานอย่างไร?
EM มาตรฐานให้ค่าประมาณแบบจุด (ค่าเฉลี่ย ความแปรปรวนร่วม และน้ำหนักที่คงที่) และต้องการการกำหนด K ให้คงที่ก่อนการปรับค่า แบบจำลองเบย์ GMM อนุมาน posterior เต็มรูปแบบเหนือพารามิเตอร์ทั้งหมด ตัดส่วนประกอบที่ว่างเปล่าออกโดยอัตโนมัติ และส่งต่อความไม่แน่นอนของพารามิเตอร์ไปยังการทำนาย
ฉันจะเลือกจำนวนส่วนประกอบเริ่มต้น K อย่างไร?
กำหนด K ให้มากกว่าจำนวนคลัสเตอร์ที่คาดไว้อย่างเพียงพอ Dirichlet prior จะลดจำนวนนับที่มีประสิทธิภาพ: ส่วนประกอบที่ไม่ได้รับการสนับสนุนจากข้อมูลจะมีน้ำหนักใกล้ศูนย์และจะถูกตัดออกโดยอัตโนมัติ หลักการทั่วไปคือการเริ่มต้นด้วย K = 2 × (จำนวนคลัสเตอร์ที่คาดไว้)
Variational Bayes ดีกว่า MCMC สำหรับแบบจำลองนี้เสมอหรือไม่?
Variational Bayes เร็วกว่าและเป็นแบบกำหนด (deterministic) แต่ประมาณค่า posterior ด้วยการแจกแจงแบบแยกส่วน (factored distribution) ซึ่งอาจประเมินความไม่แน่นอนต่ำเกินไป MCMC นั้นแม่นยำในทางทฤษฎี (asymptotically exact) แต่มีค่าใช้จ่ายสูง สำหรับปัญหาในทางปฏิบัติส่วนใหญ่ที่มีข้อมูลปานกลาง Variational Bayes เป็นทางเลือกที่ปฏิบัติได้จริง
Hyperparameters ใดที่สำคัญที่สุด?
ความเข้มข้นของ Dirichlet alpha_0 ควบคุมความก้าวร้าวในการตัดส่วนประกอบ ค่าที่น้อย (เช่น 0.01 ถึง 1) จะส่งเสริมผลลัพธ์ที่เบาบาง (sparse solutions) ค่าที่มากจะกระจายน้ำหนักอย่างสม่ำเสมอมากขึ้น องศาความเป็นอิสระ (degrees of freedom) nu_0 และสเกล (scale) W_0 ของ Wishart ควบคุมรูปร่างของความแปรปรวนร่วมที่ถูกจำกัด
เมื่อใดที่ฉันควรใช้ Dirichlet Process GMM แทน?
ควรใช้ Dirichlet Process (infinite mixture) GMM เมื่อต้องการการจัดการแบบไม่พาราเมตริกเต็มรูปแบบที่ไม่ต้องการการระบุขอบเขตบน K เลย ข้อแลกเปลี่ยนคือความซับซ้อนในการนำไปใช้ที่สูงขึ้นและการอนุมานที่ช้าลง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.
ISBN: 978-0-387-31073-2คัดลอกแล้วAttias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว