Skip to content
กลับไปยังผลการค้นหา

แบบจำลองหัวข้อ NMF

ผู้เสนอ
Lee, D. D. & Seung, H. S.
ปี
1999
ประเภท
Matrix factorization / unsupervised topic model
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Non-negative Matrix Factorization (NMF) เป็นวิธีการแยกเมทริกซ์แบบไม่มีการควบคุมดูแล (unsupervised) ที่ค้นพบหัวข้อแฝง (latent topics) ในคลังข้อความ (text corpus) โดยการแยกเมทริกซ์เอกสาร-คำ (document-term matrix) ออกเป็นเมทริกซ์ที่ไม่เป็นลบสองเมทริกซ์ — เมทริกซ์หนึ่งเข้ารหัสค่าน้ำหนักหัวข้อ-คำ (topic-word weights) และอีกเมทริกซ์หนึ่งเข้ารหัสค่าน้ำหนักเอกสาร-หัวข้อ (document-topic weights) ข้อจำกัดเรื่องค่าไม่เป็นลบทำให้เกิดการแสดงผลแบบส่วนประกอบ (parts-based) และแบบบวกสะสม (additive) ซึ่งมักจะให้หัวข้อที่ชัดเจนและตีความได้ง่าย

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพคลังข้อความของคุณเป็นสเปรดชีตขนาดใหญ่ โดยมีแถวเป็นเอกสารและคอลัมน์เป็นคำ NMF ถามว่า: ฉันสามารถแสดงสเปรดชีตนี้ใหม่เป็นผลรวมของรูปแบบคำต้นแบบ (archetypal word patterns) จำนวนเล็กน้อย (หัวข้อ) ได้หรือไม่? เนื่องจากค่าทั้งหมดต้องไม่เป็นลบ โมเดลจึงไม่สามารถหักล้างรูปแบบหนึ่งกับอีกรูปแบบหนึ่งได้ — มันถูกบังคับให้ค้นหารูปแบบที่เป็นส่วนประกอบในการสร้างขึ้น แต่ละเอกสารจะถูกอธิบายว่าเป็นส่วนผสมของรูปแบบเหล่านี้ ผลลัพธ์มักจะอ่านได้โดยตรงมากกว่าแบบจำลองหัวข้อเชิงความน่าจะเป็น (probabilistic topic models) เนื่องจากคำที่ปรากฏบ่อยที่สุดต่อหัวข้อไม่ค่อยทับซ้อนกันอย่างมาก

ประวัติศาสตร์

Non-negative Matrix Factorization ถูกนำเสนอโดย Daniel D. Lee และ H. Sebastian Seung ในบทความสำคัญของ Nature ปี 1999 ซึ่งแสดงให้เห็นว่า NMF ของข้อมูลรูปภาพสร้างการแสดงผลที่จำกัดขอบเขตและเป็นส่วนประกอบ ซึ่งแตกต่างจาก PCA หรือ VQ บทความ NIPS ปี 2001 ของพวกเขาได้ให้กฎการอัปเดตแบบคูณที่เป็นมาตรฐานในปัจจุบัน NMF ได้รับการยอมรับอย่างรวดเร็วสำหรับการวิเคราะห์ข้อความในฐานะทางเลือกในการสร้างแบบจำลองหัวข้อแทน LDA โดยให้การฝึกอบรมที่ง่ายขึ้นและกลุ่มคำที่ชัดเจนกว่า NMF ยังคงเป็นเกณฑ์มาตรฐานมาตรฐานในการวิจัย NLP และการดึงข้อมูล (information retrieval)

ควรใช้เมื่อใด

ใช้ NMF เมื่อคุณต้องการหัวข้อที่ชัดเจนและเป็นส่วนประกอบจากคลังข้อความ โดยเฉพาะอย่างยิ่งเมื่อคุณต้องการหัวข้อที่มีการทับซ้อนของคำน้อยและติดป้ายกำกับได้ง่าย เหมาะสำหรับเมทริกซ์ TF-IDF ที่ได้จากเอกสารสั้นถึงปานกลาง เช่น บทคัดย่อ บทความข่าว หรือการตอบแบบสำรวจ เหมาะอย่างยิ่งเมื่อการตีความมีความสำคัญหลัก และเมื่อคลังข้อความมีขนาดปานกลาง (หลายพันถึงหลายแสนเอกสาร) หลีกเลี่ยง NMF เมื่อคุณมีเอกสารที่สั้นมาก (น้อยกว่าประมาณ 20 โทเค็นต่อฉบับ) เมื่อต้องการแบบจำลองเชิงกำเนิดเชิงความน่าจะเป็น (probabilistic generative model) สำหรับการอนุมานในขั้นตอนต่อไป หรือเมื่อคลังข้อความมีขนาดใหญ่และเบาบางมาก — ในกรณีเหล่านั้น LDA หรือแบบจำลองหัวข้อแบบโครงข่ายประสาท (neural topic models) อาจเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ผู้ใช้ต้องกำหนดจำนวนหัวข้อ k ด้วยตนเอง ไม่มีกลไกในตัวเพื่ออนุมานจากข้อมูล
  • NMF ไม่ใช่แบบจำลองเชิงกำเนิดเชิงความน่าจะเป็น ดังนั้นการแสดงความสัมพันธ์ของเอกสารต่อหัวข้อจึงไม่ใช่ความน่าจะเป็นที่แท้จริง และไม่สามารถนำไปใช้ในไปป์ไลน์เชิงความน่าจะเป็นได้โดยตรง
  • ผลลัพธ์ขึ้นอยู่กับการเริ่มต้นและอาจแตกต่างกันไปในแต่ละครั้งที่รัน เว้นแต่จะใช้ seed ที่กำหนดและการเริ่มต้นแบบ NNDSVD
  • เอกสารที่สั้นมาก (น้อยกว่าประมาณ 20 โทเค็น) ทำให้เกิดแถวที่เบาบางใน V ซึ่งยากต่อการแยกตัวประกอบอย่างมีความหมาย
  • NMF ไม่ได้จำลองความสัมพันธ์ของหัวข้อ หรือตัวแปรระดับเอกสาร (document-level covariates) เช่นเดียวกับแบบจำลองหัวข้อเชิงโครงสร้าง (structural topic models)

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ข้อจำกัดเรื่องค่าไม่เป็นลบสร้างการแสดงผลแบบบวกสะสมและเป็นส่วนประกอบ ซึ่งมักจะตีความได้ง่ายกว่า LDA
  • หัวข้อมักจะมีการทับซ้อนของคำระหว่างหัวข้อที่น้อยกว่า ทำให้การติดป้ายกำกับด้วยตนเองง่ายขึ้น
  • การอัปเดตแบบกำหนดค่าแน่นอน (deterministic updates) (ด้วย seed ที่กำหนด) ทำให้ผลลัพธ์สามารถทำซ้ำได้มากกว่า LDA ที่ใช้การสุ่มตัวอย่าง
  • อินพุต TF-IDF จะลดน้ำหนักคำทั่วไปโดยธรรมชาติ ทำให้ไม่จำเป็นต้องมีรายการคำหยุดที่ครอบคลุม
  • การใช้งานที่ตรงไปตรงมาในไลบรารีมาตรฐาน (scikit-learn) โดยมีไฮเปอร์พารามิเตอร์ที่ต้องการน้อย
  • ปรับขนาดได้ดีสำหรับคลังข้อความหลายหมื่นเอกสารโดยไม่ต้องใช้อุปกรณ์พิเศษ

การประยุกต์ใช้

  • การค้นพบหัวข้อและการวิเคราะห์แก่นสาร (thematic analysis) ในวรรณกรรมทางวิทยาศาสตร์ คลังข่าว และการตอบแบบสำรวจปลายเปิด
  • การจัดกลุ่มเอกสารและการติดป้ายกำกับเนื้อหาอัตโนมัติสำหรับคลังเอกสารขนาดใหญ่
  • ระบบแนะนำ (Recommendation systems) ที่ใช้เวกเตอร์เอกสาร-หัวข้อเป็นคุณลักษณะของรายการ
  • การแยกส่วนประกอบสัญญาณในชีวสารสนเทศศาสตร์ (การแสดงออกของยีน) และการแยกแหล่งกำเนิดเสียง ซึ่งเป็นต้นกำเนิดของ NMF
  • แบบจำลองหัวข้อพื้นฐานที่ใช้เปรียบเทียบกับแบบจำลองโครงข่ายประสาทหรือเชิงความน่าจะเป็น
  • การลดมิติของเมทริกซ์เอกสาร-คำที่เบาบางก่อนการจำแนกประเภทในขั้นตอนต่อไป

วิธีการทำงาน

วิธีการทำงาน

1

คลังข้อความจะถูกแปลงเป็นเมทริกซ์เอกสาร-คำ V ที่มีรูปร่าง n-เอกสาร คูณ m-คำศัพท์ (n-documents by m-vocabulary) แต่ละเซลล์มักจะมีคะแนน TF หรือ TF-IDF — ค่าดิบที่ไม่เป็นลบ หรือค่าเทียบเท่าที่มีน้ำหนัก ก่อนอื่นจะมีการประมวลผลล่วงหน้า (การแปลงเป็นตัวพิมพ์เล็ก การลบคำหยุด (stop-word removal) การตัดคำ (stemming) ตามต้องการ) และการตัดแต่งคำศัพท์ (ความถี่เอกสารขั้นต่ำ ความถี่เอกสารสูงสุด) เพื่อลดสัญญาณรบกวน

2

V ถูกประมาณค่าเป็นผลคูณของเมทริกซ์ที่ไม่เป็นลบสองเมทริกซ์: W (n คูณ k, ค่าน้ำหนักเอกสาร-หัวข้อ) และ H (k คูณ m, ค่าน้ำหนักหัวข้อ-คำ) โดยที่ k คือจำนวนหัวข้อที่เลือก ทั้งสองเมทริกซ์จะถูกเริ่มต้น — โดยทั่วไปด้วย SVD ที่ไม่เป็นลบ (NNDSVD) หรือค่าสุ่มที่ไม่เป็นลบ — จากนั้นจะถูกปรับปรุงซ้ำๆ เพื่อลดค่าความคลาดเคลื่อนในการสร้างใหม่ (reconstruction loss) เช่น Frobenius norm หรือ KL divergence จาก V ไปยัง WH

สูตร
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

กฎการอัปเดตแบบคูณ (multiplicative update rules) ของ Lee-Seung จะวนซ้ำ W และ H พร้อมกัน การอัปเดตแต่ละครั้งจะคูณค่าปัจจุบันด้วยอัตราส่วนที่รับประกันว่าจะเป็นบวก ซึ่งรักษาคุณสมบัติไม่เป็นลบไว้ตลอด การวนซ้ำจะดำเนินต่อไปจนกว่าค่าความคลาดเคลื่อนในการสร้างใหม่จะต่ำกว่าค่าที่กำหนด หรือจำนวนรอบการวนซ้ำสูงสุดถึง

สูตร
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

หลังจากแต่ละรอบการวนซ้ำ อัลกอริทึมจะตรวจสอบว่าการเปลี่ยนแปลงในค่าความคลาดเคลื่อนในการสร้างใหม่มีค่าน้อยกว่าค่าที่กำหนดไว้หรือไม่ (โดยทั่วไปคือ 1e-4) หากเป็นเช่นนั้น จะถือว่าลู่เข้า (converged) การใช้งานจริงยังมีการจำกัดจำนวนรอบการวนซ้ำ (เช่น 200) เพื่อหลีกเลี่ยงการคำนวณที่มากเกินไปสำหรับคำศัพท์ขนาดใหญ่

5

เมื่อลู่เข้าแล้ว แต่ละแถวของ H คือหัวข้อ: คอลัมน์ที่มีน้ำหนักสูงสุดคือคำที่กำหนดหัวข้อนั้นๆ แต่ละแถวของ W คือการแสดงความสัมพันธ์แบบไม่เข้มงวด (soft membership) ของเอกสารต่อหัวข้อต่างๆ โดยทั่วไปหัวข้อจะถูกติดป้ายกำกับด้วยคำ 5-10 คำที่ปรากฏบ่อยที่สุด สามารถใช้เมตริกซ์ความสอดคล้อง (coherence metrics) (เช่น NPMI) เพื่อเลือกจำนวนหัวข้อ k ที่ดีที่สุด

ข้อผิดพลาดที่พบบ่อย

  • การเลือก k ตามอำเภอใจโดยไม่ได้ประเมินเมตริกซ์ความสอดคล้องในช่วงค่าต่างๆ
  • การใช้เมทริกซ์ค่าดิบแทน TF-IDF ซึ่งทำให้คำที่พบบ่อยมีอิทธิพลต่อทุกหัวข้อ
  • การข้ามการตัดแต่งคำศัพท์ (ความถี่เอกสารขั้นต่ำ/สูงสุด) ทำให้มีคำที่รบกวนหรือหายากมากเกินไป ซึ่งเพิ่มขนาดเมทริกซ์และทำให้หัวข้อไม่ชัดเจน
  • การปฏิบัติต่อค่าน้ำหนักเอกสาร-หัวข้อเสมือนความน่าจะเป็นโดยไม่ได้ปรับให้เป็นมาตรฐานตามแถว
  • การเพิกเฉยต่อผลกระทบของการเลือกการประมวลผลล่วงหน้า (การตัดคำเทียบกับการทำ lemmatisation, รายการคำหยุด) ต่อคุณภาพของหัวข้อ

คำถามที่พบบ่อย

ฉันจะเลือกจำนวนหัวข้อ k ได้อย่างไร?

รัน NMF สำหรับช่วงของค่า k (เช่น 5 ถึง 30) และประเมินความสอดคล้องของหัวข้อ (คะแนน NPMI หรือ C_V) บนตัวอย่างคำศัพท์ที่แยกไว้ พล็อตความสอดคล้องเทียบกับ k และมองหาจุดสูงสุดหรือจุดหักเห ความรู้เฉพาะทางเกี่ยวกับโครงสร้างแก่นสารที่คาดหวังของคลังข้อความก็เป็นแนวทางที่มีประโยชน์เช่นกัน

NMF ดีกว่า LDA หรือไม่?

ไม่มีแบบใดดีกว่าโดยรวม NMF มักจะสร้างหัวข้อที่มีการทับซ้อนของคำระหว่างหัวข้อน้อยกว่าและฝึกอบรมได้เร็วกว่า แต่ไม่ใช่แบบจำลองเชิงกำเนิดเชิงความน่าจะเป็น LDA ให้การกระจายเอกสาร-หัวข้อที่เป็นความน่าจะเป็นที่แท้จริง และรองรับการประเมินความสับสน (perplexity evaluation) ของข้อมูลที่ไม่ได้ใช้ การเลือกขึ้นอยู่กับว่าการตีความหรือการอนุมานเชิงความน่าจะเป็นเป็นสิ่งสำคัญกว่า

NMF ต้องการการลบคำหยุดหรือไม่?

การใช้ข้อมูลอินพุต TF-IDF ช่วยลดอิทธิพลของคำทั่วไปโดยอัตโนมัติ แต่การลบคำหยุดอย่างชัดเจนและการตัดแต่งความถี่เอกสารขั้นต่ำยังคงช่วยปรับปรุงผลลัพธ์โดยการกำจัดโทเค็นที่หายากมากหรือโทเค็นที่ปรากฏทั่วทั้งคลัง ซึ่งเพิ่มสัญญาณรบกวนโดยไม่ได้ช่วยให้หัวข้อมีความสอดคล้องกัน

ผลลัพธ์ NMF สามารถทำซ้ำได้แค่ไหน?

ด้วย seed สุ่มที่กำหนดและการเริ่มต้นแบบ NNDSVD ผลลัพธ์ NMF สามารถทำซ้ำได้สูง หากไม่มี seed ที่กำหนด การรันที่แตกต่างกันอาจให้ลำดับหัวข้อที่แตกต่างกันหรือการกระจายคำที่แตกต่างกันเล็กน้อย ควรตั้งค่า seed เสมอและรายงานเมื่อเผยแพร่

NMF สามารถจัดการกับคลังข้อความหลายภาษาได้หรือไม่?

ได้ แต่เมทริกซ์เอกสาร-คำต้องจัดการคำศัพท์ของแต่ละภาษาแยกกัน หรือคลังข้อความต้องได้รับการแปลเป็นภาษาทั่วไปก่อน แบบจำลองหัวข้อหลายภาษา (เช่น polylingual LDA หรือแนวทางที่ใช้ multilingual BERT) ถูกออกแบบมาโดยเฉพาะสำหรับสถานการณ์ข้ามภาษา และอาจมีประสิทธิภาพดีกว่า NMF ธรรมดาในกรณีเหล่านั้น

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว