การสร้างแบบจำลองหัวข้อ (Topic Modeling)
- ผู้เสนอ
- Hofmann, T. (pLSA, 1999); Blei, D. M., Ng, A. Y., & Jordan, M. I. (LDA, 2003)
- ปี
- 1999–2003
- ประเภท
- Unsupervised generative probabilistic model
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การสร้างแบบจำลองหัวข้อเป็นกลุ่มของเทคนิคเชิงความน่าจะเป็นแบบไม่มีผู้สอน (unsupervised probabilistic techniques) สำหรับการค้นหาโครงสร้างตามหัวข้อที่ซ่อนอยู่ (latent thematic structure) ในชุดข้อมูลข้อความขนาดใหญ่ โดยการเรียนรู้ว่าคำใดมีแนวโน้มที่จะปรากฏร่วมกัน แบบจำลองเช่น Latent Dirichlet Allocation (LDA) จะช่วยให้ค้นพบหัวข้อที่สอดคล้องกันได้โดยอัตโนมัติ ซึ่งแต่ละหัวข้อจะแสดงด้วยการแจกแจงของคำศัพท์ (distribution over vocabulary) โดยไม่จำเป็นต้องใช้ข้อมูลที่มีป้ายกำกับ (labelled data)
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการอ่านบทความหลายพันบทความและพยายามจัดกลุ่มตามหัวข้อโดยไม่ทราบหัวข้อล่วงหน้า การสร้างแบบจำลองหัวข้อจะทำสิ่งนี้ในเชิงคณิตศาสตร์ โดยตั้งสมมติฐานว่าเอกสารแต่ละฉบับเป็นการผสมผสานของหัวข้อที่ซ่อนอยู่จำนวนเล็กน้อย และแต่ละหัวข้อมีลักษณะเฉพาะด้วยการแจกแจงของคำศัพท์ คำต่างๆ เช่น 'election', 'vote', และ 'senate' จะถูกจัดกลุ่มเป็นหัวข้อทางการเมือง ('politics'); 'gene', 'protein', และ 'cell' จะถูกจัดกลุ่มเป็นหัวข้อชีววิทยา ('biology') อัลกอริทึมจะค้นหาทั้งน้ำหนักของคำต่อหัวข้อ (word-topic weights) และสัดส่วนของหัวข้อต่อเอกสาร (per-document topic proportions) พร้อมกัน โดยอาศัยเพียงรูปแบบการปรากฏร่วมกันของคำในคลังข้อมูล (corpus)
ประวัติศาสตร์
Latent Semantic Analysis (LSA) ได้นำเสนอแนวคิดในการค้นหาโครงสร้างที่ซ่อนอยู่ในเมทริกซ์คำ-เอกสาร (term-document matrices) ผ่าน SVD ในช่วงปลายทศวรรษ 1980 Probabilistic LSA ของ Hofmann (1999) ให้การตีความเชิงกำเนิดเชิงความน่าจะเป็น (generative probabilistic interpretation) Blei, Ng, และ Jordan ได้ทำให้ Latent Dirichlet Allocation เป็นทางการในปี 2003 โดยเพิ่ม prior แบบ Dirichlet เหนือการแจกแจงหัวข้อต่อเอกสาร ซึ่งช่วยให้สามารถอนุมานแบบเบย์เต็มรูปแบบ (full Bayesian inference) และการสรุปผลไปยังเอกสารที่ไม่เคยเห็น (generalisation to unseen documents) LDA กลายเป็นกรอบงานหลักและก่อให้เกิดส่วนขยายหลายร้อยรายการ เมื่อเร็วๆ นี้ แบบจำลองหัวข้อแบบนิวรัลและแบบทรานส์ฟอร์มเมอร์ (transformer-based) เช่น BERTopic ได้ฝังเอกสารในปริภูมิบริบท (contextual space) ก่อนทำการจัดกลุ่ม ซึ่งช่วยปรับปรุงความสอดคล้องอย่างมากในข้อความสั้นหรือข้อความเฉพาะทาง
ควรใช้เมื่อใด
การสร้างแบบจำลองหัวข้อมีความเหมาะสมเมื่อคุณมีคลังข้อมูลข้อความขนาดใหญ่ที่ไม่มีป้ายกำกับและต้องการค้นหาโครงสร้างตามหัวข้อโดยไม่มีหมวดหมู่ที่กำหนดไว้ล่วงหน้า — ตัวอย่างเช่น การวิเคราะห์คำตอบแบบสำรวจปลายเปิด บทคัดย่อทางวิชาการ คลังข่าว หรือข้อมูลโซเชียลมีเดีย เหมาะสมอย่างยิ่งเมื่อ K (จำนวนหัวข้อ) ไม่ทราบและต้องอนุมานจากข้อมูล หลีกเลี่ยงการสร้างแบบจำลองหัวข้อเมื่อคลังข้อมูลของคุณมีขนาดเล็กมาก (น้อยกว่าไม่กี่ร้อยเอกสาร) เมื่อเอกสารสั้นมาก (ประโยคเดียว) เมื่อหัวข้อมีความทับซ้อนกันสูงหรือใช้ศัพท์เฉพาะทางมากเกินไปหากไม่มีการประมวลผลล่วงหน้า หรือเมื่อคุณต้องการการทำนายต่อเอกสารที่แม่นยำแทนที่จะเป็นสัดส่วนตามหัวข้อแบบไม่แน่นอน (soft thematic proportions) สำหรับงานจำแนกประเภทที่มีป้ายกำกับ วิธีการแบบมีผู้สอน (supervised methods) เช่น ตัวจำแนกประเภทที่ใช้ BERT จะเหมาะสมกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องระบุหรือค้นหาจำนวนหัวข้อ K ซึ่งต้องมีการรันแบบจำลองหลายครั้งและการประเมินความสอดคล้อง
- หัวข้ออาจไม่สอดคล้องกันหรือซ้ำซ้อนกัน โดยเฉพาะอย่างยิ่งในข้อความสั้นๆ หรือคลังข้อมูลที่ประมวลผลล่วงหน้าไม่ดี
- LDA แบบดั้งเดิมสมมติว่าคำสามารถสลับที่กันได้ (bag-of-words) และไม่สนใจลำดับคำและไวยากรณ์
- ผลลัพธ์เป็นแบบสุ่มและอาจแตกต่างกันไปในแต่ละการรัน การทำซ้ำได้ต้องใช้ค่าเริ่มต้นสุ่ม (random seed) ที่คงที่
- การตีความต้องมีการติดป้ายกำกับแต่ละหัวข้อที่ค้นพบด้วยตนเองโดยผู้เชี่ยวชาญในสาขา
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ไม่มีผู้สอนโดยสมบูรณ์: ค้นพบหัวข้อจากข้อความดิบโดยไม่มีข้อมูลการฝึกอบรมที่มีป้ายกำกับใดๆ
- ปรับขนาดได้สำหรับคลังข้อมูลขนาดใหญ่มากผ่านการอนุมานแบบออนไลน์หรือแบบกระจาย
- สร้างหัวข้อที่ตีความได้ในรูปแบบรายการคำที่มีการจัดอันดับ ซึ่งผู้เชี่ยวชาญในสาขาสามารถตรวจสอบได้
- สัดส่วนหัวข้อต่อเอกสารเป็นค่าต่อเนื่องและสามารถใช้เป็นคุณลักษณะที่กะทัดรัดสำหรับแบบจำลองในขั้นตอนต่อไป
- ตระกูลแบบจำลองมีความยืดหยุ่น: LDA, NMF, CTM, BERTopic และรูปแบบใหม่ๆ (neural variants) ล้วนมีเป้าหมายเชิงแนวคิดเดียวกัน
การประยุกต์ใช้
- การวิเคราะห์เชิงสำรวจ (Exploratory analysis) คำตอบแบบสำรวจปลายเปิดหรือการสัมภาษณ์เพื่อค้นหาหัวข้อที่เกิดขึ้นซ้ำๆ
- การทำแผนที่แนวโน้มการวิจัยในคลังบทคัดย่อทางวิชาการหรือข้อเสนอโครงการจำนวนมาก
- การติดตามการสนทนาสาธารณะและพลวัตความคิดเห็นในคลังข่าวหรือโซเชียลมีเดีย
- การสร้างคุณลักษณะหัวข้อต่อเอกสารสำหรับระบบจำแนกประเภทหรือระบบแนะนำในขั้นตอนต่อไป
- การนำทางและค้นหาคลังข้อมูล: การติดป้ายกำกับเอกสารด้วยสัดส่วนหัวข้อเพื่อเปิดใช้งานการดึงข้อมูลแบบแบ่งส่วน (faceted retrieval)
- การวิเคราะห์ตามช่วงเวลา (Longitudinal analysis) ของวิวัฒนาการของหัวข้อในสาขาต่างๆ เมื่อเวลาผ่านไป
วิธีการทำงาน
วิธีการทำงาน
ข้อความดิบจะถูกทำความสะอาดและแบ่งเป็นโทเค็น (tokenised): คำหยุด (stopwords), เครื่องหมายวรรคตอน, และคำที่หายากมากหรือบ่อยมากจะถูกลบออก ขั้นตอนเสริม ได้แก่ การตัดคำ (stemming), การแปลงรูปคำ (lemmatisation), และการกรองให้ได้ขนาดคำศัพท์ที่มีความหมาย การประมวลผลล่วงหน้าที่มีคุณภาพมีความสำคัญอย่างยิ่ง เนื่องจากแบบจำลองหัวข้อไม่สามารถแยกสัญญาณออกจากสัญญาณรบกวนของคำหยุดได้ด้วยตนเอง
เอกสารจะถูกแปลงเป็นเมทริกซ์แบบถุงคำ (bag-of-words matrix) — เอกสารแต่ละฉบับเป็นเวกเตอร์ของจำนวนคำหรือความถี่ของคำ (term frequencies) การแสดงผลนี้จะละเว้นลำดับของคำ แต่จะจับสถิติการปรากฏร่วมกันที่แบบจำลองใช้ประโยชน์เพื่อค้นหาหัวข้อ
แบบจำลองจะประมาณชุดของการแจกแจงสองชุดพร้อมกัน: การแจกแจงคำต่อหัวข้อ (word-topic distributions) (คำใดที่กำหนดแต่ละหัวข้อ) และการแจกแจงหัวข้อต่อเอกสาร (document-topic distributions) (แต่ละหัวข้อมีส่วนช่วยในแต่ละเอกสารมากน้อยเพียงใด) ใน LDA สิ่งนี้ทำได้โดยใช้วิธีการอนุมานแบบแปรผัน (variational inference) หรือการสุ่มตัวอย่างแบบ Gibbs (Gibbs sampling) เพื่อประมาณค่า posterior เอกลักษณ์หลักคือความน่าจะเป็นที่จะสังเกตเห็นคำในเอกสารเท่ากับผลรวมของความน่าจะเป็นภายใต้แต่ละหัวข้อ โดยถ่วงน้ำหนักด้วยสัดส่วนของหัวข้อนั้นในเอกสาร
สูตร
p(w|d) = \sum_{k=1}^{K} p(w|z=k)\,p(z=k|d)หลังจากการปรับแบบจำลอง (fitting) แต่ละหัวข้อจะสรุปด้วยคำที่มีน้ำหนักสูงสุด เอกสารแต่ละฉบับจะได้รับเวกเตอร์สัดส่วนหัวข้อ (topic proportion vector) ที่แสดงว่าเนื้อหาส่วนเท่าใดสามารถอธิบายได้ด้วยแต่ละหัวข้อที่ค้นพบ สัดส่วนต่อเอกสารเหล่านี้สามารถใช้เป็นคุณลักษณะ (features) สำหรับการจำแนกประเภท (classification) หรือการถดถอย (regression) ในขั้นตอนต่อไป
จำเป็นต้องมีการตัดสินของมนุษย์เพื่อติดป้ายกำกับหัวข้อ ตัวชี้วัดความสอดคล้อง (coherence metrics) (เช่น NPMI หรือ C_v) ให้แนวทางเชิงปริมาณสำหรับการเลือกจำนวนหัวข้อ K แต่การตรวจสอบเชิงคุณภาพของคำที่มีน้ำหนักสูงสุดต่อหัวข้อเป็นสิ่งจำเป็นเสมอเพื่อยืนยันว่าหัวข้อมีความหมายและไม่ซ้ำซ้อนกัน
ข้อผิดพลาดที่พบบ่อย
- การข้ามการลบคำหยุดและการประมวลผลล่วงหน้า ซึ่งทำให้หัวข้อเต็มไปด้วยคำฟังก์ชันและซ่อนหัวข้อที่สำคัญไว้
- การเลือก K ตามอำเภอใจแทนที่จะใช้ตัวชี้วัดความสอดคล้อง (NPMI, C_v) และการตรวจสอบเชิงคุณภาพร่วมกัน
- การปฏิบัติต่อป้ายกำกับหัวข้อเสมือนเป็นข้อมูลจริง (ground truth) โดยไม่มีการตรวจสอบจากผู้เชี่ยวชาญสำหรับรายการคำที่มีน้ำหนักสูงสุด
- การใช้แบบจำลองหัวข้อกับข้อความสั้นมาก (ทวีต ประโยคเดียว) โดยไม่ได้ใช้การปรับสำหรับข้อความสั้น
- การเพิกเฉยต่อเสถียรภาพของหัวข้อข้ามค่าเริ่มต้นสุ่ม ซึ่งอาจเปิดเผยว่าหัวข้อที่ระบุเป็นเพียงผลจากการเริ่มต้น
คำถามที่พบบ่อย
ฉันจะเลือกจำนวนหัวข้อ K ได้อย่างไร?
คำนวณคะแนนความสอดคล้อง (เช่น C_v หรือ NPMI) สำหรับช่วงค่า K (เช่น 5–50) และพล็อตเส้นโค้ง เลือก K ที่ความสอดคล้องถึงจุดสูงสุดก่อนที่จะมีผลตอบแทนลดลง ควรเสริมด้วยการตรวจสอบเชิงคุณภาพเสมอ: อ่านคำ 10 อันดับแรกของแต่ละหัวข้อ และตรวจสอบว่าคำเหล่านั้นสร้างหัวข้อที่มีความหมายและไม่ซ้ำซ้อนกัน
ฉันต้องการข้อมูลมากน้อยเพียงใดเพื่อให้การสร้างแบบจำลองหัวข้อทำงานได้ดี?
LDA แบบดั้งเดิมมักต้องการเอกสารอย่างน้อยสองสามร้อยฉบับและคำศัพท์ที่มีคำที่มีความหมายหลายร้อยคำเพื่อประมาณการแจกแจงที่เสถียร ต่ำกว่าเกณฑ์นี้ หัวข้อมักจะไม่สอดคล้องกัน ในคลังข้อมูลขนาดเล็กมาก ให้พิจารณาการวิเคราะห์หัวข้อเชิงคุณภาพหรือแบบจำลองที่ฝึกไว้ล่วงหน้า เช่น BERTopic ซึ่งใช้ประโยชน์จากการฝัง (embeddings) ภายนอก
ฉันสามารถใช้ผลลัพธ์จากการสร้างแบบจำลองหัวข้อเป็นคุณลักษณะในตัวจำแนกประเภทได้หรือไม่?
ได้ เวกเตอร์สัดส่วนหัวข้อต่อเอกสารเป็นตัวแทนที่กะทัดรัดและหนาแน่น ซึ่งสามารถส่งไปยัง logistic regression, random forest หรือตัวจำแนกประเภทแบบนิวรัลได้โดยตรง นี่เป็นไปป์ไลน์ทั่วไปสำหรับเวิร์กโฟลว์แบบกึ่งมีผู้สอน (semi-supervised workflows) ที่ข้อมูลที่มีป้ายกำกับมีจำกัด
ความแตกต่างระหว่าง LDA และ NMF สำหรับการสร้างแบบจำลองหัวข้อคืออะไร?
LDA เป็นแบบจำลองเชิงกำเนิดเชิงความน่าจะเป็น (probabilistic generative model) ที่ประมาณค่าผ่านการอนุมานแบบเบย์ (Bayesian inference); NMF (Non-negative Matrix Factorisation) เป็นแนวทางการแยกเมทริกซ์ (matrix decomposition approach) ทั้งสองสร้างเมทริกซ์คำ-หัวข้อและหัวข้อ-เอกสาร แต่วิธี NMF เป็นแบบกำหนด (deterministic) และมักจะเร็วกว่า ในขณะที่ LDA ให้การประมาณค่าความไม่แน่นอนที่มีหลักการ ในคลังข้อมูลที่สะอาด ทั้งสองมักให้หัวข้อที่คล้ายคลึงกัน การเลือกมักขึ้นอยู่กับข้อจำกัดในการคำนวณและว่าต้องการการตีความเชิงความน่าจะเป็นหรือไม่
การสร้างแบบจำลองหัวข้อทำงานบนข้อความที่ไม่ใช่ภาษาอังกฤษได้หรือไม่?
ได้ การสร้างแบบจำลองหัวข้อไม่ขึ้นกับภาษาในระดับอัลกอริทึม — เพียงแค่ต้องการข้อความที่แบ่งเป็นโทเค็น คุณต้องมีการประมวลผลล่วงหน้าที่เฉพาะเจาะจงภาษา (รายการคำหยุด, ตัวตัดคำ หรือตัวแปลงรูปคำ) สำหรับคลังข้อมูลหลายภาษา ให้พิจารณาการฝังแบบหลายภาษา (multilingual embeddings) เช่น mBERT ร่วมกับ BERTopic เพื่อการค้นพบหัวข้อข้ามภาษา
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วHofmann, T. (1999). Probabilistic Latent Semantic Analysis. Proceedings of the Fifteenth Conference on Uncertainty in Artificial Intelligence (UAI), 289–296.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว