Skip to content
กลับไปยังผลการค้นหา

แบบจำลองส่วนผสมแบบเกาส์เซียน

ผู้เสนอ
Dempster, Laird & Rubin (EM algorithm)
ปี
1977
ประเภท
Probabilistic (soft) clustering — mixture model

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองส่วนผสมแบบเกาส์เซียน (Gaussian Mixture Model - GMM) เป็นวิธีการจัดกลุ่มเชิงความน่าจะเป็นที่จำลองข้อมูลเสมือนเป็นส่วนผสมถ่วงน้ำหนักของ การแจกแจงแบบเกาส์เซียนหลายแบบ ซึ่งปรับให้เหมาะสมด้วยขั้นตอนวิธีความคาดหวัง-การหาค่าเหมาะที่สุด (Expectation–Maximization algorithm) ที่กำหนดรูปแบบโดย Dempster, Laird & Rubin ในปี 1977 GMM เป็นการขยายความของ K-means ซึ่งแต่ละกลุ่มสามารถมีรูปร่าง ขนาด และทิศทางของตนเองได้

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพว่าข้อมูลถูกสร้างขึ้นจากการสุ่มจุดจากกลุ่มเมฆรูปทรงระฆังที่ซ้อนทับกันไม่กี่กลุ่ม โดยแต่ละกลุ่มมีศูนย์กลาง การกระจาย และความเอียงของตนเอง แบบจำลองส่วนผสมแบบเกาส์เซียนพยายามย้อนรอยการสร้างกลุ่มเมฆที่ซ่อนอยู่นั้น: มันจะถามว่ามีระฆังอยู่กี่อันและอยู่ที่ไหน และแทนที่จะบังคับให้ทุกจุดอยู่ในกลุ่มเดียว มันจะให้ความน่าจะเป็นของแต่ละจุดในการสังกัดแต่ละส่วนประกอบ การกำหนดค่าความน่าจะเป็นแบบอ่อน (soft assignment) นี้เองที่ทำให้ GMM สามารถจับกลุ่มที่ยืดออกหรือหมุนได้ ซึ่งวิธีการแบบแข็ง (hard assignment) ที่เป็นทรงกลมเหมือน K-means จะแบ่งกลุ่มอย่างไม่ถูกต้อง

ประวัติศาสตร์

ขั้นตอนวิธีความคาดหวัง-การหาค่าเหมาะที่สุด (Expectation–Maximization algorithm) ที่ขับเคลื่อนแบบจำลองส่วนผสมแบบเกาส์เซียน ได้รับการกำหนดรูปแบบโดย Dempster, Laird & Rubin ในบทความปี 1977 ของพวกเขาเกี่ยวกับความเป็นไปได้สูงสุดจากข้อมูลที่ไม่สมบูรณ์ ซึ่งกำหนดรูปแบบการจัดกลุ่มเป็นการประมาณค่าพารามิเตอร์ของส่วนผสมแฝง (latent mixture) มุมมองแบบจำลองส่วนผสมเปลี่ยนการจัดกลุ่มให้เป็นปัญหาความเป็นไปได้ และเป็นพื้นฐานของเครื่องมือจัดกลุ่มตามแบบจำลองที่ใช้กันอย่างแพร่หลายในปัจจุบัน

ควรใช้เมื่อใด

ใช้แบบจำลองส่วนผสมแบบเกาส์เซียนสำหรับการจัดกลุ่มหรือสำรวจข้อมูลต่อเนื่องที่มีรูปร่างใกล้เคียงกับการแจกแจงแบบเกาส์เซียน เมื่อกลุ่มอาจทับซ้อนกัน มีขนาดต่างกัน หรือยืดออกมากกว่าทรงกลม และคุณต้องการสมาชิกภาพเชิงความน่าจะเป็นแบบอ่อน แทนที่จะเป็นป้ายกำกับแบบแข็ง GMM สันนิษฐานว่าข้อมูลถูกสร้างขึ้นจากการผสมผสานของการแจกแจงแบบเกาส์เซียน ทำงานกับตัวแปรต่อเนื่อง และต้องการการสังเกตอย่างน้อยประมาณ 50 รายการ จำนวนส่วนประกอบสามารถเลือกได้ด้วย BIC หรือ AIC และแนะนำให้ทำการประมวลผลล่วงหน้าด้วย PCA เพื่อหลีกเลี่ยงปัญหาคำสาปแห่งมิติ (curse of dimensionality) หากมีข้อมูลน้อยกว่าประมาณ 50 รายการ หรือเมื่อข้อสมมติฐานแบบเกาส์เซียนไม่เป็นจริง K-means จะเป็นทางเลือกที่ทนทานกว่า

ข้อจำกัดและข้อควรพิจารณา

  • สันนิษฐานว่าข้อมูลถูกสร้างขึ้นจากการผสมผสานของการแจกแจงแบบเกาส์เซียน ผลลัพธ์จะได้รับผลกระทบเมื่อข้อสมมติฐานนั้นไม่เป็นจริง
  • EM อาจบรรจบกันที่ค่าที่เหมาะสมที่สุดเฉพาะที่ ดังนั้นผลลัพธ์จึงขึ้นอยู่กับการเริ่มต้น
  • เมทริกซ์ความแปรปรวนร่วมอาจกลายเป็นเมทริกซ์เอกฐาน โดยเฉพาะอย่างยิ่งในมิติสูงหรือตัวอย่างขนาดเล็ก
  • ต้องการการสังเกตอย่างน้อยประมาณ 50 รายการ และได้รับประโยชน์จากการประมวลผลล่วงหน้าด้วย PCA เพื่อหลีกเลี่ยงคำสาปแห่งมิติ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • สมาชิกภาพกลุ่มแบบอ่อนเชิงความน่าจะเป็น แทนที่จะเป็นการกำหนดค่าแบบแข็งที่ถูกบังคับ
  • แต่ละส่วนประกอบมีเมทริกซ์ความแปรปรวนร่วมของตนเอง ดังนั้นกลุ่มจึงสามารถยืดออก หมุน หรือมีขนาดแตกต่างกันได้
  • เป็นการขยายความที่แท้จริงของ K-means ซึ่งผ่อนคลายข้อสมมติฐานของกลุ่มทรงกลมที่มีขนาดเท่ากัน
  • จำนวนส่วนประกอบสามารถเลือกได้อย่างเป็นกลางด้วยเกณฑ์ข้อมูล เช่น BIC หรือ AIC

การประยุกต์ใช้

  • การจัดกลุ่มเชิงความน่าจะเป็นแบบอ่อนของข้อมูลต่อเนื่องที่กลุ่มมีการทับซ้อนกัน
  • การวิเคราะห์เชิงสำรวจของประชากรย่อยที่มีกลุ่มรูปร่างหรือขนาดแตกต่างกัน
  • การประมาณค่าความหนาแน่นโดยการแสดงข้อมูลเป็นส่วนผสมถ่วงน้ำหนักของการแจกแจงแบบเกาส์เซียน
  • ทางเลือกที่ยืดหยุ่นกว่า K-means เมื่อกลุ่มทรงกลมที่มีขนาดเท่ากันไม่สมจริง

วิธีการทำงาน

วิธีการทำงาน

1

ข้อมูลถูกมองว่ามาจากผลรวมถ่วงน้ำหนักของการแจกแจงแบบเกาส์เซียน K แบบ แต่ละส่วนประกอบมีน้ำหนักการผสม ค่าเฉลี่ย และเมทริกซ์ความแปรปรวนร่วม ดังนั้นส่วนประกอบเดียวสามารถยืดออกหรือเอียงได้ แทนที่จะถูกบังคับให้เป็นทรงกลม เป้าหมายคือการหาน้ำหนัก ค่าเฉลี่ย และความแปรปรวนร่วมที่ทำให้ข้อมูลที่สังเกตได้มีความเป็นไปได้มากที่สุด

สูตร
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

ในขั้นตอน E (E-step) แบบจำลองจะคำนวณความรับผิดชอบ (responsibility) ของแต่ละส่วนประกอบสำหรับแต่ละการสังเกต ซึ่งก็คือความน่าจะเป็นภายหลัง (posterior probability) ที่จุดนั้นถูกสร้างขึ้นโดยการแจกแจงแบบเกาส์เซียนนั้นๆ การกำหนดสมาชิกภาพแบบอ่อน (soft membership) นี้จะเข้ามาแทนที่การกำหนดแบบทั้งหมดหรือไม่มีเลย (all-or-nothing) ของ K-means และสามารถจับการทับซ้อนระหว่างกลุ่มได้

สูตร
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

ในขั้นตอน M (M-step) พารามิเตอร์ของแต่ละส่วนประกอบจะถูกประเมินใหม่เป็นสถิติถ่วงน้ำหนักตามความรับผิดชอบ: ค่าเฉลี่ย ความแปรปรวนร่วม และน้ำหนักการผสมจะถูกปรับปรุงโดยใช้ทุกจุดตามสัดส่วนของความแข็งแกร่งในการสังกัดส่วนประกอบนั้นๆ ขั้นตอน E และ M จะสลับกันไปมา เพิ่มความเป็นไปได้จนกว่าการปรับจะบรรจบกัน

สูตร
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

จำนวนส่วนประกอบไม่ได้ถูกกำหนดไว้ล่วงหน้า: ค่าที่เป็นไปได้จะถูกเปรียบเทียบโดยใช้เกณฑ์ข้อมูล (information criteria) เช่น BIC หรือ AIC ซึ่งจะปรับสมดุลระหว่างความเหมาะสมของแบบจำลองกับความซับซ้อน เนื่องจาก EM อาจติดอยู่ในค่าที่เหมาะสมที่สุดเฉพาะที่ (local optimum) และเมทริกซ์ความแปรปรวนร่วมอาจกลายเป็นเมทริกซ์เอกฐาน (singular) จึงแนะนำให้ลดมิติข้อมูล เช่น PCA ก่อน และทำการเริ่มต้นใหม่หลายครั้ง

ข้อผิดพลาดที่พบบ่อย

  • การรัน GMM กับตัวอย่างที่มีจำนวนน้อยกว่าประมาณ 50 รายการ ซึ่ง EM ติดอยู่ในค่าที่เหมาะสมที่สุดเฉพาะที่และเมทริกซ์ความแปรปรวนร่วมกลายเป็นเมทริกซ์เอกฐาน
  • การละเว้น PCA หรือการลดมิติอื่นๆ บนข้อมูลมิติสูง ซึ่งเชิญชวนให้เกิดเมทริกซ์ความแปรปรวนร่วมที่เป็นเมทริกซ์เอกฐาน
  • การกำหนดจำนวนส่วนประกอบด้วยสายตา แทนที่จะเปรียบเทียบ BIC/AIC ระหว่างตัวเลือกต่างๆ
  • การพึ่งพาการรัน EM เพียงครั้งเดียว แทนที่จะเป็นการเริ่มต้นใหม่หลายครั้งเพื่อหลีกเลี่ยงค่าที่เหมาะสมที่สุดเฉพาะที่ที่ไม่ดี
  • การนำไปใช้กับข้อมูลที่ไม่ใช่แบบเกาส์เซียนอย่างชัดเจน ซึ่ง K-means จะทนทานกว่า

คำถามที่พบบ่อย

แบบจำลองส่วนผสมแบบเกาส์เซียนแตกต่างจาก K-means อย่างไร?

K-means กำหนดให้แต่ละจุดอยู่ในกลุ่มทรงกลมที่มีขนาดเท่ากันเพียงกลุ่มเดียว แบบจำลองส่วนผสมแบบเกาส์เซียนเป็นการขยายความของ K-means: แต่ละส่วนประกอบมีเมทริกซ์ความแปรปรวนร่วมของตนเอง ดังนั้นกลุ่มจึงสามารถยืดออก หมุน หรือมีขนาดแตกต่างกันได้ และแต่ละจุดจะได้รับความน่าจะเป็นในการสังกัดแต่ละส่วนประกอบ แทนที่จะเป็นป้ายกำกับแบบแข็งเพียงป้ายเดียว

ฉันจะเลือกจำนวนส่วนประกอบได้อย่างไร?

ปรับแบบจำลองสำหรับจำนวนส่วนประกอบที่เป็นไปได้หลายค่า และเปรียบเทียบด้วยเกณฑ์ข้อมูล เช่น BIC หรือ AIC ซึ่งจะชั่งน้ำหนักความเหมาะสมของแบบจำลองกับความซับซ้อนของแบบจำลอง จากนั้นเลือกจำนวนที่ทำให้เกณฑ์นั้นเหมาะสมที่สุด

เหตุใด GMM ของฉันจึงให้ผลลัพธ์ที่แตกต่างกันในแต่ละครั้งที่รัน?

GMM ถูกปรับให้เหมาะสมด้วย EM ซึ่งอาจบรรจบกันที่ค่าที่เหมาะสมที่สุดเฉพาะที่ ขึ้นอยู่กับการเริ่มต้น การรันหลายครั้งและการเก็บผลลัพธ์ที่ดีที่สุด และการลดมิติด้วย PCA ก่อน จะทำให้ผลลัพธ์มีความเสถียรมากขึ้น

เมื่อใดที่ฉันควรเลือก K-means แทน?

เมื่อตัวอย่างมีขนาดเล็ก (น้อยกว่าประมาณ 50 รายการ) หรือข้อมูลไม่ใช่แบบเกาส์เซียนอย่างชัดเจน EM อาจติดอยู่ในค่าที่เหมาะสมที่สุดเฉพาะที่ และเมทริกซ์ความแปรปรวนร่วมอาจกลายเป็นเมทริกซ์เอกฐาน ในกรณีเหล่านั้น K-means จะเป็นทางเลือกที่ทนทานกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว