การสร้างหัวข้อด้วย NMF
- ผู้เสนอ
- Lee & Seung
- ปี
- 1999
- ประเภท
- Matrix-factorization topic model
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การสร้างหัวข้อด้วย NMF ใช้ Non-negative Matrix Factorization ซึ่งเป็นการแยกส่วนประกอบที่นำเสนอโดย Lee และ Seung (1999) เพื่อสกัดการกระจายหัวข้อเอกสารจากคลังเอกสาร โดยการแยกเมทริกซ์เอกสาร-คำ ออกเป็นเมทริกซ์ที่ไม่เป็นลบสองเมทริกซ์ จะได้ชุดหัวข้อขนาดเล็ก และมีแนวโน้มที่จะให้หัวข้อที่ตีความได้ง่ายกว่า LDA
แนวคิดเบื้องหลังวิธีการ
คลังเอกสารสามารถเขียนเป็นตารางขนาดใหญ่หนึ่งตาราง โดยแต่ละแถวคือเอกสาร และแต่ละคอลัมน์คือคำ NMF ตั้งสมมติฐานว่าตารางนั้นเป็นผลคูณของตารางที่ไม่เป็นลบขนาดเล็กสองตาราง: ตารางหนึ่งแสดงว่าเอกสารแต่ละฉบับมีส่วนเกี่ยวข้องกับหัวข้อใดมากน้อยเพียงใด และอีกตารางหนึ่งแสดงว่าคำใดบ้างที่ประกอบกันเป็นแต่ละหัวข้อ เนื่องจากไม่อนุญาตให้มีค่าเป็นลบ หัวข้อจึงสามารถรวมกันได้เท่านั้น ไม่สามารถหักล้างกันได้ ดังนั้นแต่ละหัวข้อจึงกลายเป็นกลุ่มคำที่ปรากฏร่วมกันอย่างสอดคล้องกัน ซึ่งผู้อ่านสามารถตั้งชื่อได้
ประวัติศาสตร์
NMF ถูกนำเสนอโดย Lee และ Seung (1999) ซึ่งแสดงให้เห็นว่าการเรียนรู้การแสดงส่วนประกอบแบบบวกของวัตถุทำให้ได้ส่วนประกอบที่ตีความได้ เทคนิคนี้ต่อมาได้ถูกนำมาปรับใช้กับข้อความในฐานะโมเดลหัวข้อ และ Arora และคณะ (2013) ได้พัฒนาอัลกอริทึมที่ใช้งานได้จริงสำหรับการสร้างหัวข้อด้วยการรับประกันที่พิสูจน์ได้ ซึ่งช่วยเสริมความแข็งแกร่งให้กับพื้นฐานทางทฤษฎี
ควรใช้เมื่อใด
ใช้การสร้างหัวข้อด้วย NMF เพื่อสำรวจหรืออธิบายคลังข้อความ เมื่อคุณมีเอกสารเพียงพอ (ประมาณ 50 ฉบับขึ้นไป) และสามารถกำหนดจำนวนหัวข้อ k ล่วงหน้าได้ วิธีนี้คาดหวังข้อมูลข้อความที่แสดงในรูปของเมทริกซ์เอกสาร-คำ โดยนิยมใช้การแปลงเป็น TF-IDF เหมาะสมเมื่อหัวข้อที่ตีความได้และตั้งชื่อได้มีความสำคัญมากกว่าโมเดลเชิงความน่าจะเป็นอย่างสมบูรณ์
ข้อจำกัดและข้อควรพิจารณา
- จำนวนหัวข้อ k ต้องถูกเลือกไว้ล่วงหน้า แทนที่จะเรียนรู้จากข้อมูล
- ต้องการจำนวนเอกสารที่เพียงพอ (ประมาณ 50 ฉบับขึ้นไป) เพื่อให้ได้หัวข้อที่เสถียร
- แตกต่างจากโมเดลเชิงความน่าจะเป็น ไม่ได้ให้คำอธิบายเชิงกำเนิดหรือความไม่แน่นอนตามหลักการเกี่ยวกับหัวข้อ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้หัวข้อที่ตีความได้ง่ายกว่า LDA ด้วยโครงสร้างการแยกส่วนประกอบแบบบวกและแบบแยกส่วน
- ทำงานได้ตามธรรมชาติบนเมทริกซ์เอกสาร-คำ แบบ TF-IDF ซึ่งเป็นรูปแบบมาตรฐานสำหรับข้อความ
- แนวคิดเรียบง่าย: การแยกเมทริกซ์เดียวพร้อมการแบ่งแยกเอกสาร-หัวข้อ และหัวข้อ-คำ ที่ชัดเจน
การประยุกต์ใช้
- การค้นพบและตั้งชื่อธีมหลักในชุดเอกสาร
- การสรุปคลังเอกสารขนาดใหญ่ตามหัวข้อหลักสำหรับการวิเคราะห์เชิงสำรวจ
- การติดป้ายกำกับเอกสารด้วยการกระจายหัวข้อสำหรับการอธิบายและการค้นหาในขั้นตอนต่อไป
- การเปรียบเทียบโครงสร้างหัวข้อในชุดย่อยของคลังเอกสาร
วิธีการทำงาน
วิธีการทำงาน
คลังเอกสารจะถูกแปลงเป็นเมทริกซ์เอกสาร-คำ ซึ่งแต่ละเอกสารจะกลายเป็นแถวของคะแนนคำที่มีน้ำหนัก การแปลงเป็น TF-IDF เป็นที่นิยม เนื่องจากจะลดน้ำหนักของคำที่พบบ่อย และเน้นคำที่สร้างความแตกต่างให้กับเอกสารอย่างแท้จริง ทำให้การแยกส่วนประกอบมีสัญญาณที่ชัดเจนขึ้นในการทำงาน
เมทริกซ์เอกสาร-คำ จะถูกประมาณค่าเป็นผลคูณของเมทริกซ์ที่ไม่เป็นลบสองเมทริกซ์: เมทริกซ์เอกสาร-หัวข้อ และเมทริกซ์หัวข้อ-คำ จำนวนหัวข้อที่เลือก k จะกำหนดมิติภายในของผลคูณนี้ และการแยกส่วนประกอบจะถูกปรับเพื่อให้การสร้างใหม่ใกล้เคียงกับเมทริกซ์เดิม ในขณะที่ยังคงรักษาค่าทุกรายการให้ไม่เป็นลบ
แต่ละหัวข้อจะถูกอ่านจากเมทริกซ์หัวข้อ-คำ โดยการตรวจสอบคำที่มีน้ำหนักสูงสุดในคอลัมน์ของหัวข้อนั้น เนื่องจากน้ำหนักทั้งหมดไม่เป็นลบและรวมกัน คำเหล่านี้จึงเป็นธีมที่อ่านได้ซึ่งสามารถติดป้ายกำกับได้ โครงสร้างแบบบวกและแบบแยกส่วนนี้เองที่ทำให้หัวข้อ NMF ตีความได้ง่ายกว่าหัวข้อของ LDA
แต่ละเอกสารจะถูกอธิบายด้วยแถวในเมทริกซ์เอกสาร-หัวข้อ ซึ่งแสดงความเข้มข้นของแต่ละหัวข้อในเอกสารนั้น การกระจายเหล่านี้สามารถใช้เพื่อสรุปคลังเอกสาร ติดป้ายกำกับเอกสารด้วยหัวข้อหลัก หรือป้อนข้อมูลสำหรับการอธิบายและการสำรวจในขั้นตอนต่อไป
ข้อผิดพลาดที่พบบ่อย
- การตั้งค่า k ไม่ถูกต้อง — หัวข้อที่น้อยเกินไปจะรวมธีมที่แตกต่างกันเข้าด้วยกัน หัวข้อที่มากเกินไปจะแยกย่อยออกเป็นสัญญาณรบกวน
- การข้ามการถ่วงน้ำหนัก TF-IDF จะทำให้คำฟังก์ชันที่พบบ่อยมีอิทธิพลและทำให้หัวข้อไม่ชัดเจน
- การทำงานกับเอกสารน้อยเกินไปจะให้หัวข้อที่ไม่เสถียรซึ่งเปลี่ยนแปลงไปจากการปรับแต่ละครั้ง
- การปฏิบัติต่อคอลัมน์หัวข้อว่าเป็นค่าที่แน่นอนแทนที่จะเป็นค่าประมาณ — NMF เพียงประมาณค่าเมทริกซ์เดิมเท่านั้น
คำถามที่พบบ่อย
การสร้างหัวข้อด้วย NMF แตกต่างจาก LDA อย่างไร
ทั้งสองวิธีสกัดการกระจายหัวข้อเอกสาร แต่ NMF เป็นการแยกเมทริกซ์ที่บังคับให้ส่วนประกอบทั้งหมดไม่เป็นลบและเป็นบวก ในขณะที่ LDA เป็นโมเดลเชิงกำเนิดเชิงความน่าจะเป็น โครงสร้างแบบบวกและแบบแยกส่วนของ NMF มีแนวโน้มที่จะทำให้หัวข้อตีความได้ง่ายกว่า LDA
ฉันจะเลือกจำนวนหัวข้อ k ได้อย่างไร
k ต้องถูกตั้งค่าก่อนการปรับ เนื่องจาก NMF ไม่ได้เรียนรู้จากข้อมูล ให้เลือกจากความรู้เฉพาะทางและโดยการเปรียบเทียบความสามารถในการตีความและความสอดคล้องของหัวข้อในค่า k หลายค่า
เหตุใด TF-IDF จึงเป็นที่นิยมมากกว่าการนับดิบ
TF-IDF ลดน้ำหนักคำที่ปรากฏทุกที่และเน้นคำที่สร้างความแตกต่างให้กับเอกสาร ทำให้การแยกส่วนประกอบมีสัญญาณที่ชัดเจนขึ้น และให้หัวข้อที่คมชัดและตั้งชื่อได้ง่ายขึ้น
ฉันต้องการเอกสารกี่ฉบับ
ประมาณ 50 ฉบับขึ้นไปเป็นจำนวนขั้นต่ำที่แนะนำ ด้วยเอกสารน้อยเกินไป หัวข้อที่ได้จะไม่เสถียรและอาจเปลี่ยนแปลงไปจากการปรับแต่ละครั้ง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วArora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว