Skip to content
กลับไปยังผลการค้นหา

แบบจำลองหัวข้อ LDA

ผู้เสนอ
Blei, D. M., Ng, A. Y., & Jordan, M. I.
ปี
2003
ประเภท
Probabilistic generative topic model
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Latent Dirichlet Allocation (LDA) เป็นแบบจำลองเชิงกำเนิดเชิงความน่าจะเป็น (probabilistic generative model) ที่ Blei, Ng, และ Jordan นำเสนอในปี 2003 ซึ่งค้นพบโครงสร้างหัวข้อที่ซ่อนอยู่ในชุดข้อมูลข้อความขนาดใหญ่ โดยการแสดงเอกสารแต่ละฉบับเป็นส่วนผสมของหัวข้อแฝง (latent topics) และแต่ละหัวข้อเป็น การแจกแจงความน่าจะเป็น (probability distribution) เหนือคำศัพท์

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการอ่านบทความข่าวเกี่ยวกับภาวะโลกร้อน — บทความนั้นอาจกล่าวถึงวิทยาศาสตร์ การเมือง และเศรษฐศาสตร์ไปพร้อมๆ กัน LDA ทำให้แนวคิดนี้เป็นรูปธรรม: โดยสมมติว่าเอกสารแต่ละฉบับเป็นการผสมผสานของธีมที่เป็นนามธรรมจำนวนเล็กน้อย (หัวข้อ) และแต่ละหัวข้อมีลักษณะเฉพาะด้วยคำที่มักปรากฏในนั้น แบบจำลองทำงานย้อนกลับจากคำที่สังเกตได้เพื่ออนุมานทั้งหัวข้อที่ซ่อนอยู่และปริมาณที่แต่ละเอกสารสะท้อนถึงแต่ละหัวข้อ โดยใช้การอนุมานแบบเบย์ (Bayesian inference) ร่วมกับพรีเออร์แบบดิริชเลต์ (Dirichlet priors) เพื่อควบคุมการกระจายตัวหรือความเข้มข้นของการผสมผสานเหล่านี้

ประวัติศาสตร์

LDA ถูกนำเสนอโดย David Blei, Andrew Ng, และ Michael Jordan ในบทความสำคัญปี 2003 ในวารสาร Journal of Machine Learning Research โดยต่อยอดจาก probabilistic latent semantic analysis (pLSA) ก่อนหน้านี้ของ Hofmann (1999) กลายเป็นเทคนิคการสร้างแบบจำลองหัวข้อที่โดดเด่นมานานกว่าทศวรรษ และก่อให้เกิดชุดส่วนขยายที่หลากหลาย — correlated topic models, dynamic topic models, และ author-topic models ในช่วงไม่กี่ปีที่ผ่านมา วิธีการที่ใช้การฝังคำ (embedding-based approaches) เช่น BERTopic ได้เข้ามาเสริม แต่ไม่ได้แทนที่ LDA ซึ่งยังคงเป็นเกณฑ์มาตรฐาน (baseline) ในการทำเหมืองข้อความ (text mining) และสังคมศาสตร์เชิงคำนวณ (computational social science)

ควรใช้เมื่อใด

LDA เหมาะอย่างยิ่งสำหรับการวิเคราะห์หัวข้อเชิงสำรวจ (exploratory thematic analysis) ของคลังข้อความขนาดใหญ่ที่ไม่มีป้ายกำกับ (unlabelled text corpora) — เช่น การตอบแบบสำรวจ, คลังข่าว, บทคัดย่อทางวิทยาศาสตร์, ฟีดโซเชียลมีเดีย หรือเอกสารนโยบาย — โดยมีเป้าหมายเพื่อค้นหาธีมที่เกิดขึ้นซ้ำๆ โดยไม่มีหมวดหมู่ที่กำหนดไว้ล่วงหน้า ใช้ LDA เมื่อคุณมีเอกสารอย่างน้อยหลายร้อยฉบับและต้องการบทสรุปหัวข้อที่ตีความได้และอ่านเข้าใจได้ง่าย ควรเลือก LDA เหนือ NMF เมื่อคุณต้องการกรอบการทำงานเชิงความน่าจะเป็นที่มีหลักการพร้อมการประมาณค่าความไม่แน่นอนและการควบคุมความเบาบางที่ปรับได้ อย่าใช้ LDA เมื่อคุณมีข้อความสั้นๆ (ทวีต, หัวข้อ) ซึ่งแต่ละเอกสารมีคำน้อยมาก, เมื่อคุณต้องการการจำแนกประเภทแบบมีผู้สอน (supervised classification) ที่มีป้ายกำกับที่ทราบ (ควรใช้ตัวจำแนกประเภทที่ใช้ BERT แทน), เมื่อลำดับหรือไวยากรณ์ของเอกสารมีความสำคัญ (LDA ไม่สนใจลำดับคำเลย), หรือเมื่อคลังข้อความของคุณมีขนาดเล็กกว่าหลายร้อยฉบับ

ข้อจำกัดและข้อควรพิจารณา

  • ข้อสมมติฐานกระเป๋าคำ (bag-of-words) ไม่สนใจลำดับคำและโครงสร้างประโยค ทำให้สูญเสียบริบททางไวยากรณ์และความหมายที่สำคัญ
  • ต้องระบุจำนวนหัวข้อ K ล่วงหน้า การเลือก K ที่ไม่เหมาะสมจะส่งผลให้หัวข้อที่รวมกันไม่สอดคล้องกัน หรือการแบ่งย่อยที่ละเอียดเกินไป
  • หัวข้อไม่รับประกันว่าจะมีความสอดคล้องกันทางความหมาย และมักต้องการการปรับแต่งคำหยุดและการประมวลผลเบื้องต้นอย่างระมัดระวัง
  • ทำงานได้ไม่ดีกับข้อความสั้นๆ (น้อยกว่าประมาณ 50 คำต่อเอกสาร) เนื่องจากมีสัญญาณความสัมพันธ์ของคำไม่เพียงพอ
  • การอนุมานผ่าน Gibbs sampling เป็นแบบสุ่มและอาจให้ลำดับหัวข้อที่แตกต่างกันในแต่ละครั้งที่รัน ทำให้การทำซ้ำทำได้ยาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ค้นพบธีมแฝงที่ตีความได้จากข้อความที่ไม่มีป้ายกำกับ โดยไม่ต้องใช้ข้อมูลฝึกอบรมที่ติดป้ายกำกับด้วยตนเอง
  • กรอบการทำงานเชิงความน่าจะเป็นให้สัดส่วนหัวข้อต่อเอกสาร ทำให้สามารถแสดงผลแบบผสมสมาชิก (mixed-membership) ที่ละเอียดอ่อนได้
  • ปรับขนาดให้รองรับคลังข้อความขนาดใหญ่มากโดยใช้รูปแบบออนไลน์หรือแบบกระจาย เช่น online LDA
  • พรีเออร์แบบดิริชเลต์ที่ปรับค่าได้ช่วยให้ควบคุมความเบาบางของหัวข้อและความละเอียดของหัวข้อต่อเอกสารได้อย่างชัดเจน
  • การแจกแจงคำต่อหัวข้อทำหน้าที่เป็นบทสรุปที่กระชับและอ่านเข้าใจได้ง่าย ซึ่งช่วยในการตีความเชิงคุณภาพ
  • มีพื้นฐานทางทฤษฎีที่มั่นคงและการสนับสนุนจากเครื่องมือที่หลากหลาย (Gensim, scikit-learn, MALLET)

การประยุกต์ใช้

  • การวิเคราะห์ธีมของการตอบแบบสำรวจปลายเปิดและบทสัมภาษณ์ในสังคมศาสตร์
  • การค้นพบแนวโน้มการวิจัยในชุดวรรณกรรมทางวิทยาศาสตร์หรือการยื่นจดสิทธิบัตรขนาดใหญ่
  • การวิเคราะห์เนื้อหาของคลังข่าว สุนทรพจน์ทางการเมือง และสตรีมโซเชียลมีเดีย
  • การสร้างคุณลักษณะเอกสารที่ตีความได้สำหรับไปป์ไลน์การจัดกลุ่มหรือการจำแนกประเภทขั้นต่อไป
  • การติดตามวิวัฒนาการของหัวข้อเมื่อเวลาผ่านไปโดยใช้ส่วนขยาย dynamic topic model
  • การติดป้ายกำกับและแนะนำอัตโนมัติในระบบห้องสมุดดิจิทัลและการจัดการเนื้อหา

วิธีการทำงาน

วิธีการทำงาน

1

คลังข้อความ (corpus) จะถูกแบ่งเป็นโทเค็น (tokenised) ทำให้เป็นตัวพิมพ์เล็กทั้งหมด ลบคำหยุด (stop words) และแปลงเป็นรูปแบบกระเป๋าคำ (bag-of-words) เอกสารแต่ละฉบับจะกลายเป็นเวกเตอร์ของจำนวนคำ และจะมีการสร้างคำศัพท์ร่วม (dictionary) คุณภาพของการประมวลผลเบื้องต้น — โดยเฉพาะการลบคำหยุดและการทำ stemming หรือ lemmatisation ที่เป็นทางเลือก — ส่งผลอย่างมากต่อความสอดคล้องของหัวข้อ (topic coherence)

2

มีการระบุการแจกแจงแบบดิริชเลต์สองแบบด้วยไฮเปอร์พารามิเตอร์ alpha และ beta Alpha ควบคุมความเบาบางของหัวข้อต่อเอกสาร (document-topic sparsity) (ค่า alpha ต่ำหมายความว่าแต่ละเอกสารจะเน้นไปที่หัวข้อจำนวนน้อย) beta ควบคุมความเบาบางของคำต่อหัวข้อ (topic-word sparsity) (ค่า beta ต่ำหมายความว่าแต่ละหัวข้อจะเน้นไปที่คำจำนวนน้อย) พรีเออร์เหล่านี้จะถูกใช้เพื่อเริ่มต้นการแจกแจงหัวข้อต่อเอกสาร theta และการแจกแจงคำต่อหัวข้อ phi

สูตร
\theta_d \sim \text{Dir}(\alpha),\quad \phi_k \sim \text{Dir}(\beta)
3

สำหรับตำแหน่งคำแต่ละตำแหน่งในเอกสาร LDA จะสุ่มการกำหนดหัวข้อ (topic assignment) จากการแจกแจงหัวข้อของเอกสาร ขั้นตอนนี้เป็นแกนหลักของเรื่องราวเชิงกำเนิด: หัวข้อจะถูกเลือกตามสัดส่วนความโดดเด่นที่มีอยู่แล้วในเอกสารนั้น

สูตร
z_{d,n} \sim \text{Categorical}(\theta_d)
4

เมื่อพิจารณาหัวข้อที่สุ่มได้สำหรับตำแหน่งคำ คำจริงจะถูกดึงมาจากการแจกแจงคำของหัวข้อนั้น หัวข้อที่เกี่ยวกับเทคโนโลยีจะให้ความน่าจะเป็นสูงกับคำเช่น 'algorithm' หรือ 'network'; หัวข้อเกี่ยวกับสุขภาพจะนิยมคำว่า 'patient' หรือ 'treatment'

สูตร
w_{d,n} \sim \text{Categorical}(\phi_{z_{d,n}})
5

เนื่องจากกำหนดการหัวข้อที่แท้จริงเป็นข้อมูลแฝง จึงต้องประมาณค่าจากคำที่สังเกตได้ วิธีมาตรฐานคือ collapsed Gibbs sampling (หรือ variational Bayes) ซึ่งจะกำหนดการหัวข้อใหม่ให้กับแต่ละคำซ้ำๆ ตามหัวข้อที่มีความน่าจะเป็นสูงสุด โดยพิจารณาจากการกำหนดหัวข้อของคำอื่นๆ ทั้งหมด ทำซ้ำจนกว่าการกำหนดหัวข้อจะคงที่และแบบจำลองลบกัน (converges)

6

เมื่อการอนุมานลบกันแล้ว แต่ละหัวข้อจะสรุปด้วยคำ N อันดับแรกที่มีความน่าจะเป็นสูงสุด และแต่ละเอกสารจะถูกอธิบายด้วยสัดส่วนหัวข้อ นักวิจัยจะติดป้ายกำกับแต่ละหัวข้อโดยการตรวจสอบคำอันดับแรก จากนั้นใช้ค่าน้ำหนักหัวข้อต่อเอกสารเป็นคุณลักษณะ (features) สำหรับการวิเคราะห์ขั้นต่อไป เช่น การจัดกลุ่ม (clustering) การจำแนกประเภท (classification) หรือการตรวจจับแนวโน้ม

ข้อผิดพลาดที่พบบ่อย

  • การเลือก K ตามอำเภอใจโดยไม่ได้ประเมินคะแนนความสอดคล้อง (เช่น C_v) หรือ perplexity ที่ถูกระงับ (held-out perplexity) ในช่วงค่าต่างๆ
  • การละเว้นการลบคำหยุด หรือการรวมคำที่มีความถี่สูงมากซึ่งครอบงำทุกหัวข้อและบดบังธีมที่มีความหมาย
  • การใช้ LDA กับข้อความสั้นๆ เช่น ทวีต, หัวข้อ ซึ่งจำนวนคำที่เบาบาง (sparse word counts) ป้องกันการประมาณค่าความสัมพันธ์ของคำที่เชื่อถือได้
  • การรายงานป้ายกำกับหัวข้อโดยไม่แสดงคำอันดับแรก และปล่อยให้ผู้อ่านตรวจสอบการตีความได้อย่างอิสระ
  • การปฏิบัติต่อการกำหนดหัวข้อเสมือนเป็นป้ายกำกับจริง และนำไปใช้กับงานขั้นต่อไปโดยไม่ได้ประเมินคุณภาพของหัวข้อก่อน

คำถามที่พบบ่อย

ฉันจะเลือกจำนวนหัวข้อ K ได้อย่างไร?

แนวทางที่มีหลักการคือการปรับ LDA สำหรับช่วงค่า K ต่างๆ (เช่น 5 ถึง 50) และประเมินแต่ละค่าโดยใช้คะแนนความสอดคล้องของหัวข้อ เช่น C_v ที่คำนวณจากส่วนของคลังข้อความที่ถูกระงับ จุดข้อศอก (elbow point) ที่ความสอดคล้องคงที่หรือถึงจุดสูงสุดเป็นทางเลือกที่สมเหตุสมผล การตรวจสอบด้วยสายตาของคำอันดับแรกยังคงมีความสำคัญ — ตัวชี้วัดความสอดคล้องเป็นแนวทาง แต่ไม่สามารถทดแทนการตัดสินเชิงคุณภาพได้

LDA เทียบกับ NMF — ฉันควรเลือกใช้อันไหนดีกว่ากัน?

ทั้งสองวิธีแยกเมทริกซ์เอกสาร-คำ (document-term matrix) ออกเป็นหัวข้อ LDA เป็นแบบเชิงกำเนิดและเชิงความน่าจะเป็น ให้การประมาณค่าความไม่แน่นอนและการควบคุมความเบาบางที่ชัดเจนผ่านพรีเออร์แบบดิริชเลต์; มักให้ผลลัพธ์หัวข้อที่เสถียรกว่าในคลังข้อความขนาดใหญ่ NMF เป็นแบบกำหนดและเร็วกว่า มักให้ผลลัพธ์หัวข้อที่คมชัดและเข้มข้นกว่าในเมทริกซ์ขนาดเล็กหรือเบาบางกว่า ลองใช้ทั้งสองวิธีและเปรียบเทียบคะแนนความสอดคล้อง

ฉันสามารถใช้ LDA กับข้อความสั้นๆ เช่น ทวีต ได้หรือไม่?

LDA มาตรฐานทำงานได้ไม่ดีกับข้อความสั้นๆ เนื่องจากแต่ละเอกสารมีคำน้อยเกินไปสำหรับการประมาณค่าความสัมพันธ์ของคำที่เชื่อถือได้ ทางเลือก ได้แก่ การรวมข้อความสั้นๆ เข้าเป็นเอกสารเสมือน (pseudo-documents) ก่อนรัน LDA, การใช้ Biterm Topic Model (BTM) ที่ออกแบบมาสำหรับข้อความสั้นๆ, หรือการเปลี่ยนไปใช้วิธีการที่ใช้การฝังคำ เช่น BERTopic

ฉันจะตรวจสอบได้อย่างไรว่าหัวข้อของฉันมีความหมาย?

คำนวณคะแนนความสอดคล้องภายใน (intrinsic coherence score) (C_v หรือ NPMI) และเปรียบเทียบระหว่างค่า K ต่างๆ เสริมด้วยการทดสอบคำแปลกปลอม (word intrusion test) — ถามผู้เชี่ยวชาญในสาขาว่าคำแปลกปลอมที่แทรกเข้ามาอย่างสุ่มนั้นโดดเด่นหรือไม่ และตรวจสอบคำ 10 อันดับแรกต่อหัวข้อเพื่อความสอดคล้องทางความหมาย นอกจากนี้ ให้ตรวจสอบการแจกแจงหัวข้อต่อเอกสารเพื่อความถูกต้องตามที่ปรากฏ (face validity) กับเนื้อหาเอกสารที่ทราบ

LDA เข้าใจความหมายหรือบริบทของคำหรือไม่?

ไม่ LDA ใช้การแสดงผลแบบกระเป๋าคำและปฏิบัติต่อแต่ละคำเสมือนเป็นสัญลักษณ์อะตอม; ไม่มีความรู้เกี่ยวกับคำพ้องความหมาย (synonymy) คำพ้องรูป (polysemy) หรือลำดับคำ คำเช่น 'bank' (การเงิน) และ 'bank' (ตลิ่ง) ถือเป็นโทเค็นเดียวกัน สำหรับการสร้างแบบจำลองที่คำนึงถึงบริบท ควรพิจารณาแบบจำลองหัวข้อที่เสริมด้วยการฝังคำ (word-embedding-enriched topic models) หรือ BERTopic ซึ่งจัดกลุ่มการฝังประโยคตามบริบท

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Latent Dirichlet Allocation. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว