Skip to content
กลับไปยังผลการค้นหา

การสร้างหัวข้อด้วย NMF

ผู้เสนอ
Lee & Seung
ปี
1999
ประเภท
Matrix-factorization topic model

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การสร้างหัวข้อด้วย NMF ใช้ Non-negative Matrix Factorization ซึ่งเป็นการแยกส่วนประกอบที่นำเสนอโดย Lee และ Seung (1999) เพื่อสกัดการกระจายหัวข้อเอกสารจากคลังเอกสาร โดยการแยกเมทริกซ์เอกสาร-คำ ออกเป็นเมทริกซ์ที่ไม่เป็นลบสองเมทริกซ์ จะได้ชุดหัวข้อขนาดเล็ก และมีแนวโน้มที่จะให้หัวข้อที่ตีความได้ง่ายกว่า LDA

แนวคิดเบื้องหลังวิธีการ

คลังเอกสารสามารถเขียนเป็นตารางขนาดใหญ่หนึ่งตาราง โดยแต่ละแถวคือเอกสาร และแต่ละคอลัมน์คือคำ NMF ตั้งสมมติฐานว่าตารางนั้นเป็นผลคูณของตารางที่ไม่เป็นลบขนาดเล็กสองตาราง: ตารางหนึ่งแสดงว่าเอกสารแต่ละฉบับมีส่วนเกี่ยวข้องกับหัวข้อใดมากน้อยเพียงใด และอีกตารางหนึ่งแสดงว่าคำใดบ้างที่ประกอบกันเป็นแต่ละหัวข้อ เนื่องจากไม่อนุญาตให้มีค่าเป็นลบ หัวข้อจึงสามารถรวมกันได้เท่านั้น ไม่สามารถหักล้างกันได้ ดังนั้นแต่ละหัวข้อจึงกลายเป็นกลุ่มคำที่ปรากฏร่วมกันอย่างสอดคล้องกัน ซึ่งผู้อ่านสามารถตั้งชื่อได้

ประวัติศาสตร์

NMF ถูกนำเสนอโดย Lee และ Seung (1999) ซึ่งแสดงให้เห็นว่าการเรียนรู้การแสดงส่วนประกอบแบบบวกของวัตถุทำให้ได้ส่วนประกอบที่ตีความได้ เทคนิคนี้ต่อมาได้ถูกนำมาปรับใช้กับข้อความในฐานะโมเดลหัวข้อ และ Arora และคณะ (2013) ได้พัฒนาอัลกอริทึมที่ใช้งานได้จริงสำหรับการสร้างหัวข้อด้วยการรับประกันที่พิสูจน์ได้ ซึ่งช่วยเสริมความแข็งแกร่งให้กับพื้นฐานทางทฤษฎี

ควรใช้เมื่อใด

ใช้การสร้างหัวข้อด้วย NMF เพื่อสำรวจหรืออธิบายคลังข้อความ เมื่อคุณมีเอกสารเพียงพอ (ประมาณ 50 ฉบับขึ้นไป) และสามารถกำหนดจำนวนหัวข้อ k ล่วงหน้าได้ วิธีนี้คาดหวังข้อมูลข้อความที่แสดงในรูปของเมทริกซ์เอกสาร-คำ โดยนิยมใช้การแปลงเป็น TF-IDF เหมาะสมเมื่อหัวข้อที่ตีความได้และตั้งชื่อได้มีความสำคัญมากกว่าโมเดลเชิงความน่าจะเป็นอย่างสมบูรณ์

ข้อจำกัดและข้อควรพิจารณา

  • จำนวนหัวข้อ k ต้องถูกเลือกไว้ล่วงหน้า แทนที่จะเรียนรู้จากข้อมูล
  • ต้องการจำนวนเอกสารที่เพียงพอ (ประมาณ 50 ฉบับขึ้นไป) เพื่อให้ได้หัวข้อที่เสถียร
  • แตกต่างจากโมเดลเชิงความน่าจะเป็น ไม่ได้ให้คำอธิบายเชิงกำเนิดหรือความไม่แน่นอนตามหลักการเกี่ยวกับหัวข้อ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้หัวข้อที่ตีความได้ง่ายกว่า LDA ด้วยโครงสร้างการแยกส่วนประกอบแบบบวกและแบบแยกส่วน
  • ทำงานได้ตามธรรมชาติบนเมทริกซ์เอกสาร-คำ แบบ TF-IDF ซึ่งเป็นรูปแบบมาตรฐานสำหรับข้อความ
  • แนวคิดเรียบง่าย: การแยกเมทริกซ์เดียวพร้อมการแบ่งแยกเอกสาร-หัวข้อ และหัวข้อ-คำ ที่ชัดเจน

การประยุกต์ใช้

  • การค้นพบและตั้งชื่อธีมหลักในชุดเอกสาร
  • การสรุปคลังเอกสารขนาดใหญ่ตามหัวข้อหลักสำหรับการวิเคราะห์เชิงสำรวจ
  • การติดป้ายกำกับเอกสารด้วยการกระจายหัวข้อสำหรับการอธิบายและการค้นหาในขั้นตอนต่อไป
  • การเปรียบเทียบโครงสร้างหัวข้อในชุดย่อยของคลังเอกสาร

วิธีการทำงาน

วิธีการทำงาน

1

คลังเอกสารจะถูกแปลงเป็นเมทริกซ์เอกสาร-คำ ซึ่งแต่ละเอกสารจะกลายเป็นแถวของคะแนนคำที่มีน้ำหนัก การแปลงเป็น TF-IDF เป็นที่นิยม เนื่องจากจะลดน้ำหนักของคำที่พบบ่อย และเน้นคำที่สร้างความแตกต่างให้กับเอกสารอย่างแท้จริง ทำให้การแยกส่วนประกอบมีสัญญาณที่ชัดเจนขึ้นในการทำงาน

2

เมทริกซ์เอกสาร-คำ จะถูกประมาณค่าเป็นผลคูณของเมทริกซ์ที่ไม่เป็นลบสองเมทริกซ์: เมทริกซ์เอกสาร-หัวข้อ และเมทริกซ์หัวข้อ-คำ จำนวนหัวข้อที่เลือก k จะกำหนดมิติภายในของผลคูณนี้ และการแยกส่วนประกอบจะถูกปรับเพื่อให้การสร้างใหม่ใกล้เคียงกับเมทริกซ์เดิม ในขณะที่ยังคงรักษาค่าทุกรายการให้ไม่เป็นลบ

3

แต่ละหัวข้อจะถูกอ่านจากเมทริกซ์หัวข้อ-คำ โดยการตรวจสอบคำที่มีน้ำหนักสูงสุดในคอลัมน์ของหัวข้อนั้น เนื่องจากน้ำหนักทั้งหมดไม่เป็นลบและรวมกัน คำเหล่านี้จึงเป็นธีมที่อ่านได้ซึ่งสามารถติดป้ายกำกับได้ โครงสร้างแบบบวกและแบบแยกส่วนนี้เองที่ทำให้หัวข้อ NMF ตีความได้ง่ายกว่าหัวข้อของ LDA

4

แต่ละเอกสารจะถูกอธิบายด้วยแถวในเมทริกซ์เอกสาร-หัวข้อ ซึ่งแสดงความเข้มข้นของแต่ละหัวข้อในเอกสารนั้น การกระจายเหล่านี้สามารถใช้เพื่อสรุปคลังเอกสาร ติดป้ายกำกับเอกสารด้วยหัวข้อหลัก หรือป้อนข้อมูลสำหรับการอธิบายและการสำรวจในขั้นตอนต่อไป

ข้อผิดพลาดที่พบบ่อย

  • การตั้งค่า k ไม่ถูกต้อง — หัวข้อที่น้อยเกินไปจะรวมธีมที่แตกต่างกันเข้าด้วยกัน หัวข้อที่มากเกินไปจะแยกย่อยออกเป็นสัญญาณรบกวน
  • การข้ามการถ่วงน้ำหนัก TF-IDF จะทำให้คำฟังก์ชันที่พบบ่อยมีอิทธิพลและทำให้หัวข้อไม่ชัดเจน
  • การทำงานกับเอกสารน้อยเกินไปจะให้หัวข้อที่ไม่เสถียรซึ่งเปลี่ยนแปลงไปจากการปรับแต่ละครั้ง
  • การปฏิบัติต่อคอลัมน์หัวข้อว่าเป็นค่าที่แน่นอนแทนที่จะเป็นค่าประมาณ — NMF เพียงประมาณค่าเมทริกซ์เดิมเท่านั้น

คำถามที่พบบ่อย

การสร้างหัวข้อด้วย NMF แตกต่างจาก LDA อย่างไร

ทั้งสองวิธีสกัดการกระจายหัวข้อเอกสาร แต่ NMF เป็นการแยกเมทริกซ์ที่บังคับให้ส่วนประกอบทั้งหมดไม่เป็นลบและเป็นบวก ในขณะที่ LDA เป็นโมเดลเชิงกำเนิดเชิงความน่าจะเป็น โครงสร้างแบบบวกและแบบแยกส่วนของ NMF มีแนวโน้มที่จะทำให้หัวข้อตีความได้ง่ายกว่า LDA

ฉันจะเลือกจำนวนหัวข้อ k ได้อย่างไร

k ต้องถูกตั้งค่าก่อนการปรับ เนื่องจาก NMF ไม่ได้เรียนรู้จากข้อมูล ให้เลือกจากความรู้เฉพาะทางและโดยการเปรียบเทียบความสามารถในการตีความและความสอดคล้องของหัวข้อในค่า k หลายค่า

เหตุใด TF-IDF จึงเป็นที่นิยมมากกว่าการนับดิบ

TF-IDF ลดน้ำหนักคำที่ปรากฏทุกที่และเน้นคำที่สร้างความแตกต่างให้กับเอกสาร ทำให้การแยกส่วนประกอบมีสัญญาณที่ชัดเจนขึ้น และให้หัวข้อที่คมชัดและตั้งชื่อได้ง่ายขึ้น

ฉันต้องการเอกสารกี่ฉบับ

ประมาณ 50 ฉบับขึ้นไปเป็นจำนวนขั้นต่ำที่แนะนำ ด้วยเอกสารน้อยเกินไป หัวข้อที่ได้จะไม่เสถียรและอาจเปลี่ยนแปลงไปจากการปรับแต่ละครั้ง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว