Skip to content
กลับไปยังผลการค้นหา

แบบจำลองส่วนผสมแบบเกาส์เซียนแบบเบย์ (Bayesian Gaussian Mixture Model)

ผู้เสนอ
Attias, H.; Bishop, C. M.
ปี
1999–2006
ประเภท
Probabilistic clustering / density estimation
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองส่วนผสมแบบเกาส์เซียนแบบเบย์กำหนดการแจกแจงก่อน (prior distributions) เหนือพารามิเตอร์ส่วนผสมทั้งหมด และอนุมานการแจกแจงภายหลัง (posteriors) ของพารามิเตอร์เหล่านั้น ซึ่งโดยทั่วไปจะผ่านวิธีการ Variational Bayes หรือ MCMC แทนที่จะปรับค่าประมาณแบบจุด (fixed point estimates) วิธีการนี้ให้การวัดปริมาณความไม่แน่นอนที่มีหลักการ การเลือกจำนวนส่วนประกอบที่มีประสิทธิภาพโดยอัตโนมัติ และความทนทานต่อการเกิดภาวะเรียนรู้เกิน (overfitting) ในชุดข้อมูลขนาดเล็ก

แนวคิดเบื้องหลังวิธีการ

แบบจำลองส่วนผสมแบบเกาส์เซียน (GMM) แบบมาตรฐานจะถามว่าควรมีจำนวนคลัสเตอร์เท่าใด แล้วจึงกำหนดจำนวนนั้นให้คงที่ โดยปรับค่าเฉลี่ย (means) และความแปรปรวนร่วม (covariances) ให้เหมาะสมที่สุดด้วยอัลกอริทึม EM ในขณะที่แบบจำลองแบบเบย์จะเก็บการแจกแจงความน่าจะเป็น (probability distributions) ไว้สำหรับทุกพารามิเตอร์ กล่าวคือ ยังคงมีความไม่แน่นอนเกี่ยวกับตำแหน่ง รูปร่างของแต่ละคลัสเตอร์ และแม้กระทั่งว่าจำเป็นต้องมีคลัสเตอร์นั้นหรือไม่ ส่วนประกอบที่ข้อมูลไม่สนับสนุนจะถูกลดน้ำหนักลงโดยอัตโนมัติผ่าน prior ทำให้แบบจำลองสามารถกำหนดความซับซ้อนที่มีประสิทธิภาพของตนเองได้โดยไม่ต้องทำการเลือกแบบจำลองผ่านการตรวจสอบไขว้ (cross-validated model selection) สำหรับค่า K หลายค่า

ประวัติศาสตร์

การใช้แบบจำลองแบบเบย์กับแบบจำลองส่วนผสมได้รับการทำให้เป็นทางการผ่าน MCMC samplers ในช่วงทศวรรษ 1990 Attias (1999) ได้นำเสนอแนวทาง variational Bayes สำหรับ GMM และกรอบงานนี้ได้รับความนิยมและเป็นระบบโดย Bishop (2006) ในหนังสือ Pattern Recognition and Machine Learning ซึ่งบทที่ 10 นำเสนอการอนุมานทั้งหมด การขยายแบบไม่พาราเมตริกโดยใช้ Dirichlet Process priors ซึ่งอนุญาตให้มี K ที่เปิดกว้างอย่างแท้จริง ตามมาในปี Rasmussen (2000) และ Blei & Jordan (2006)

ควรใช้เมื่อใด

ควรใช้เมื่อต้องการการแบ่งกลุ่มแบบอ่อนเชิงความน่าจะเป็น (probabilistic soft clustering) หรือการประมาณค่าความหนาแน่น (density estimation) บนข้อมูลต่อเนื่องหลายตัวแปร (continuous multivariate data) และต้องการหลีกเลี่ยงการกำหนดจำนวนส่วนประกอบ K ล่วงหน้า หรือเมื่อต้องการการประมาณค่าความไม่แน่นอนรอบๆ การกำหนดคลัสเตอร์และพารามิเตอร์ เหมาะอย่างยิ่งสำหรับชุดข้อมูลขนาดเล็กถึงปานกลาง (หลักสิบถึงหลักหมื่นการสังเกต) ที่ GMM แบบ EM มาตรฐานเกิดภาวะเรียนรู้เกิน ไม่เหมาะสำหรับข้อมูลที่มีมิติสูงมากหากไม่มีการลดมิติ สำหรับคุณลักษณะที่เป็นหมวดหมู่หรือลำดับเท่านั้น หรือเมื่อต้องการเพียงการแบ่งกลุ่มแบบแข็งที่ไม่ใช่เชิงความน่าจะเป็นและต้องการความเร็วสูงสุด

ข้อจำกัดและข้อควรพิจารณา

  • Variational Bayes หาค่าที่เหมาะสมที่สุดเฉพาะที่ (local optimum) ของ ELBO ไม่ใช่ posterior ทั่วไป ผลลัพธ์อาจขึ้นอยู่กับการเริ่มต้น
  • การเลือก prior hyperparameters (โดยเฉพาะความเข้มข้นของ Dirichlet) ส่งผลต่อส่วนประกอบที่จะอยู่รอด และต้องมีเหตุผลรองรับ
  • มีค่าใช้จ่ายในการคำนวณสูงกว่า EM-GMM มาตรฐานต่อรอบ และยากต่อการนำไปใช้ตั้งแต่ต้น
  • ข้อมูลมิติสูง (มีคุณลักษณะจำนวนมาก) ต้องการการกำหนดพารามิเตอร์ความแปรปรวนร่วมอย่างระมัดระวัง หรือการลดมิติแบบ prior
  • การตีความ posteriors ของส่วนประกอบต้องการความคุ้นเคยกับแนวคิดของ variational inference

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ตัดส่วนประกอบที่ไม่ได้ใช้งานออกโดยอัตโนมัติ ลดความจำเป็นในการกำหนด K ล่วงหน้าผ่านการค้นหาแบบกริดซ้ำๆ
  • ส่งคืนการแจกแจง posterior เต็มรูปแบบเหนือพารามิเตอร์ ทำให้สามารถวัดปริมาณความไม่แน่นอนที่ปรับเทียบแล้ว (calibrated uncertainty quantification) ในการกำหนดคลัสเตอร์
  • ทนทานต่อภาวะเรียนรู้เกินในชุดข้อมูลขนาดเล็ก เนื่องจาก prior ช่วยปรับระเบียบ (regularizes) ความแปรปรวนร่วมและน้ำหนักของส่วนประกอบ
  • การกำหนดค่าแบบอ่อน (Soft assignments) ทำให้เหมาะสำหรับไปป์ไลน์เชิงความน่าจะเป็น (probabilistic pipelines) และเครือข่ายประมาณค่าความหนาแน่นแบบส่วนผสม (mixture density networks) ในขั้นตอนถัดไป
  • การนำ Variational Bayes ไปใช้มีสเกลที่ดีกว่า MCMC แบบเต็ม ในขณะที่ยังคงรักษาประโยชน์ของแบบจำลองแบบเบย์

การประยุกต์ใช้

  • การระบุตัวตนผู้พูด (Speaker diarization) และการแบ่งส่วนเสียง (audio segmentation) เมื่อไม่ทราบจำนวนผู้พูด
  • การตรวจจับความผิดปกติ (Anomaly detection) โดยการระบุการสังเกตที่ได้รับความน่าจะเป็นต่ำภายใต้ส่วนประกอบที่เรียนรู้ทั้งหมด
  • การแบ่งส่วนภาพ (Image segmentation) และการควอนไทซ์สี (color quantization) ด้วยการกำหนดสมาชิกภาพแบบอ่อนจากพิกเซลไปยังคลัสเตอร์
  • การประมาณค่าความหนาแน่นสำหรับการสร้างแบบจำลอง (generative modelling) และการจำลองข้อมูลต่อเนื่องหลายตัวแปร
  • การจัดกลุ่มโปรไฟล์ผู้ป่วยทางพันธุกรรม (genomic) หรือทางคลินิก (clinical) เมื่อไม่แน่ใจในจำนวนประเภทย่อยที่แท้จริง
  • การเริ่มต้นแบบจำลองสร้างแบบจำลองที่ซับซ้อนยิ่งขึ้น เช่น variational autoencoders

วิธีการทำงาน

วิธีการทำงาน

1

กำหนด prior แบบสังยุค (conjugate priors) ไว้สำหรับสัดส่วนการผสม (mixing proportions) (Dirichlet), ค่าเฉลี่ยของส่วนประกอบ (component means) (Gaussian), และเมทริกซ์ความแม่นยำ (precision matrices) (Wishart) พารามิเตอร์ความเข้มข้น (concentration parameter) ของการแจกแจง Dirichlet จะควบคุมการกระจายน้ำหนักของส่วนผสมไปยังส่วนประกอบต่างๆ: ค่าที่น้อยจะผลักดันน้ำหนักไปยังคลัสเตอร์จำนวนน้อย ซึ่งเป็นการลงโทษส่วนประกอบที่ไม่จำเป็นอย่างมีประสิทธิภาพ

สูตร
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

ขั้นตอน variational E-step จะคำนวณค่าความรับผิดชอบแบบอ่อน (soft responsibilities) r_nk ซึ่งคือความน่าจะเป็นภายหลังโดยประมาณที่การสังเกต n เป็นของส่วนประกอบ k โดยใช้ค่าคาดหวังปัจจุบันของ log mixing weights และ log precision determinants แทนค่าประมาณแบบจุด ดังนั้น ความไม่แน่นอนของพารามิเตอร์จึงถูกส่งต่อไปยังการกำหนดคลัสเตอร์

สูตร
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

สถิติเพียงพอ (Sufficient statistics) สำหรับแต่ละส่วนประกอบจะถูกสะสมจากค่าความรับผิดชอบแบบอ่อน: จำนวนนับที่มีประสิทธิภาพ (effective count) N_k, ค่าเฉลี่ยถ่วงน้ำหนัก (weighted mean), และเมทริกซ์การกระจายถ่วงน้ำหนัก (weighted scatter matrix) สิ่งเหล่านี้จะเข้ามาแทนที่ค่าเทียบเท่าของ EM ที่ใช้จำนวนนับแบบแข็ง (hard-count) และขับเคลื่อนการปรับปรุง posterior ของพารามิเตอร์ในขั้นตอนถัดไป

สูตร
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

พารามิเตอร์ธรรมชาติ (natural parameters) ของแต่ละ posterior แบบสังยุคจะถูกปรับปรุงโดยการบวกสถิติเพียงพอเข้ากับ hyperparameters ของ prior การแจกแจง Dirichlet posterior จะลดจำนวนส่วนประกอบที่มี N_k ต่ำลงให้มีน้ำหนักเข้าใกล้ศูนย์ เป็นการดำเนินการตัดส่วนประกอบที่ไม่ได้ใช้งานออกโดยอัตโนมัติ

สูตร
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

การลู่เข้า (Convergence) จะถูกตรวจสอบโดย Evidence Lower BOund (ELBO) ซึ่งเป็นขอบเขตล่างของ log marginal likelihood ELBO จะรับประกันว่าจะไม่ลดลงในแต่ละรอบของ variational EM การวนซ้ำจะดำเนินต่อไปจนกว่าการปรับปรุงจะต่ำกว่าค่าที่กำหนดไว้

สูตร
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

ข้อผิดพลาดที่พบบ่อย

  • การกำหนดจำนวนส่วนประกอบเริ่มต้น K น้อยเกินไป ป้องกันไม่ให้แบบจำลองค้นพบโครงสร้างที่แท้จริงทั้งหมด แม้ว่าส่วนประกอบที่ไม่ได้ใช้งานจะถูกตัดออกไปแล้วก็ตาม
  • การละเลยความไวต่อความเข้มข้นของ Dirichlet prior โดยไม่ทำการทดสอบ hyperparameter เล็กน้อย
  • การเชื่อการเริ่มต้นแบบสุ่มเพียงครั้งเดียว การเริ่มต้นหลายครั้งพร้อมกับการเลือก ELBO ที่ดีที่สุดเป็นสิ่งสำคัญ
  • การนำแบบจำลองไปใช้กับข้อมูลแบบไม่ต่อเนื่อง (discrete) หรือแบบผสม (mixed-type) โดยไม่มีการแปลงคุณลักษณะให้อยู่ในรูปแบบประมาณค่าเกาส์เซียนต่อเนื่อง
  • การรายงานเฉพาะป้ายกำกับคลัสเตอร์โดยไม่มีค่าความรับผิดชอบแบบอ่อน เป็นการทิ้งผลลัพธ์เชิงความน่าจะเป็นที่สำคัญของแบบจำลองไป

คำถามที่พบบ่อย

แตกต่างจาก GMM ที่ปรับด้วย EM มาตรฐานอย่างไร?

EM มาตรฐานให้ค่าประมาณแบบจุด (ค่าเฉลี่ย ความแปรปรวนร่วม และน้ำหนักที่คงที่) และต้องการการกำหนด K ให้คงที่ก่อนการปรับค่า แบบจำลองเบย์ GMM อนุมาน posterior เต็มรูปแบบเหนือพารามิเตอร์ทั้งหมด ตัดส่วนประกอบที่ว่างเปล่าออกโดยอัตโนมัติ และส่งต่อความไม่แน่นอนของพารามิเตอร์ไปยังการทำนาย

ฉันจะเลือกจำนวนส่วนประกอบเริ่มต้น K อย่างไร?

กำหนด K ให้มากกว่าจำนวนคลัสเตอร์ที่คาดไว้อย่างเพียงพอ Dirichlet prior จะลดจำนวนนับที่มีประสิทธิภาพ: ส่วนประกอบที่ไม่ได้รับการสนับสนุนจากข้อมูลจะมีน้ำหนักใกล้ศูนย์และจะถูกตัดออกโดยอัตโนมัติ หลักการทั่วไปคือการเริ่มต้นด้วย K = 2 × (จำนวนคลัสเตอร์ที่คาดไว้)

Variational Bayes ดีกว่า MCMC สำหรับแบบจำลองนี้เสมอหรือไม่?

Variational Bayes เร็วกว่าและเป็นแบบกำหนด (deterministic) แต่ประมาณค่า posterior ด้วยการแจกแจงแบบแยกส่วน (factored distribution) ซึ่งอาจประเมินความไม่แน่นอนต่ำเกินไป MCMC นั้นแม่นยำในทางทฤษฎี (asymptotically exact) แต่มีค่าใช้จ่ายสูง สำหรับปัญหาในทางปฏิบัติส่วนใหญ่ที่มีข้อมูลปานกลาง Variational Bayes เป็นทางเลือกที่ปฏิบัติได้จริง

Hyperparameters ใดที่สำคัญที่สุด?

ความเข้มข้นของ Dirichlet alpha_0 ควบคุมความก้าวร้าวในการตัดส่วนประกอบ ค่าที่น้อย (เช่น 0.01 ถึง 1) จะส่งเสริมผลลัพธ์ที่เบาบาง (sparse solutions) ค่าที่มากจะกระจายน้ำหนักอย่างสม่ำเสมอมากขึ้น องศาความเป็นอิสระ (degrees of freedom) nu_0 และสเกล (scale) W_0 ของ Wishart ควบคุมรูปร่างของความแปรปรวนร่วมที่ถูกจำกัด

เมื่อใดที่ฉันควรใช้ Dirichlet Process GMM แทน?

ควรใช้ Dirichlet Process (infinite mixture) GMM เมื่อต้องการการจัดการแบบไม่พาราเมตริกเต็มรูปแบบที่ไม่ต้องการการระบุขอบเขตบน K เลย ข้อแลกเปลี่ยนคือความซับซ้อนในการนำไปใช้ที่สูงขึ้นและการอนุมานที่ช้าลง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ISBN: 978-0-387-31073-2
    คัดลอกแล้ว
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว