การจัดกลุ่มเอกสาร
- ประเภท
- Unsupervised text-mining task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจัดกลุ่มเอกสาร (Document clustering) เป็นงานการทำเหมืองข้อความแบบไม่มีผู้สอน (unsupervised text-mining task) ที่จัดกลุ่มเอกสารที่มีเนื้อหาคล้ายคลึงกันเข้าไว้ด้วยกันโดยไม่ต้องใช้ป้ายกำกับ (labels) ใดๆ งานนี้ใช้ในการจัดระเบียบเอกสารจำนวนมากและสำหรับการวิเคราะห์เชิงสำรวจ (exploratory analysis) โดยอาศัยชุดเทคนิคการทำเหมืองข้อความที่รวบรวมโดย Aggarwal and Zhai (2012) และเปรียบเทียบเชิงประจักษ์โดย Steinbach, Karypis and Kumar (2000)
แนวคิดเบื้องหลังวิธีการ
เมื่อคุณเผชิญกับเอกสารกองใหญ่และไม่มีใครติดป้ายกำกับไว้เลย คุณยังคงต้องการทราบว่าเอกสารใดควรอยู่กลุ่มเดียวกัน การจัดกลุ่มเอกสารทำงานเช่นนั้น โดยวัดว่าเอกสารมีความคล้ายคลึงกันเพียงใดจากถ้อยคำ และให้เอกสารที่คล้ายคลึงกันตกอยู่ในกลุ่มเดียวกัน ดังนั้นโครงสร้างในคอลเลกชันจึงปรากฏขึ้นเอง แทนที่จะถูกกำหนดโดยหมวดหมู่ที่กำหนดไว้ล่วงหน้า
ประวัติศาสตร์
การจัดกลุ่มเอกสารอยู่ในขอบเขตที่กว้างกว่าของการทำเหมืองข้อความ ซึ่งสำรวจไว้ในหนังสือ Mining Text Data (2012) ของ Aggarwal and Zhai งานพื้นฐานเชิงเปรียบเทียบโดย Steinbach, Karypis and Kumar (2000) ได้ตรวจสอบว่าเทคนิคการจัดกลุ่มเอกสารที่แตกต่างกันทำงานอย่างไร ช่วยสร้างความมั่นใจว่าตระกูลวิธีการใดที่เหมาะสมกับคอลเลกชันข้อความ
ควรใช้เมื่อใด
ใช้การจัดกลุ่มเอกสารเมื่อคุณมีคอลเลกชันเอกสารข้อความแต่ไม่มีป้ายกำกับ และคุณต้องการจัดระเบียบหรือสำรวจโครงสร้างของมัน ข้อความต้องถูกแปลงเป็นเวกเตอร์ก่อน และคุณต้องตัดสินใจเลือกระหว่างจำนวนกลุ่มหรือเกณฑ์ระยะห่าง การดำเนินการนี้ต้องใช้คลังเอกสาร (corpus) ที่เหมาะสม อย่างน้อยประมาณ 30 เอกสาร และจะมีความน่าเชื่อถือเมื่อมีมากกว่าประมาณ 100 เอกสาร หากมีเอกสารน้อยกว่า การวิเคราะห์ตามหัวข้อด้วยตนเองจะเป็นทางเลือกที่ปลอดภัยกว่า หากไม่มีข้อมูลข้อความเลย การจัดกลุ่มเอกสารจะไม่สามารถนำมาใช้ได้
ข้อจำกัดและข้อควรพิจารณา
- ผลลัพธ์ไม่น่าเชื่อถือในคลังเอกสารขนาดเล็ก ต่ำกว่าประมาณ 100 เอกสาร กลุ่มต่างๆ จะไม่น่าเชื่อถือ
- จำเป็นต้องแปลงข้อความเป็นเวกเตอร์ก่อน และต้องกำหนดจำนวนกลุ่มหรือเกณฑ์ระยะห่างล่วงหน้า
- ไม่สามารถนำมาใช้ได้เลยเมื่อไม่มีข้อมูลข้อความ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- แบบไม่มีผู้สอน (Unsupervised) — ไม่ต้องการข้อมูลที่มีป้ายกำกับ ดังนั้นจึงทำงานกับคอลเลกชันดิบที่ไม่มีใครใส่คำอธิบายประกอบ
- เผยให้เห็นโครงสร้างแฝง (latent structure) ในคลังเอกสาร ทำให้เหมาะสำหรับการจัดระเบียบเอกสารและการวิเคราะห์เชิงสำรวจ
- ปรับขนาดได้กับคอลเลกชันเอกสารขนาดใหญ่ที่การคัดแยกด้วยมือไม่สามารถทำได้จริง
การประยุกต์ใช้
- การจัดระเบียบชุดเอกสารขนาดใหญ่เป็นกลุ่มที่สอดคล้องกันเพื่อการนำทางที่ง่ายขึ้น
- การวิเคราะห์เชิงสำรวจของคลังเอกสารที่ไม่มีป้ายกำกับเพื่อค้นหาว่ามีหัวข้อใดบ้าง
- การจัดกลุ่มรายงาน บทความ หรือบันทึกที่คล้ายคลึงกันในการดำเนินงานและการวิจัย ก่อนการวิเคราะห์เชิงลึก
- การจัดโครงสร้างล่วงหน้าของคอลเลกชัน ก่อนการติดป้ายกำกับหรือการจำแนกประเภทดาวน์สตรีม
วิธีการทำงาน
วิธีการทำงาน
เอกสารแต่ละฉบับจะถูกแปลงเป็นรูปแบบตัวเลขก่อนผ่านกระบวนการแปลงข้อความเป็นเวกเตอร์ (text vectorisation) เช่น เวกเตอร์ TF-IDF เพื่อให้ถ้อยคำกลายเป็นสิ่งที่การวัดระยะทางสามารถเปรียบเทียบได้ หากไม่มีขั้นตอนนี้ อัลกอริทึมการจัดกลุ่มจะไม่มีอะไรให้ดำเนินการ
ก่อนการจัดกลุ่ม นักวิเคราะห์จะกำหนดวิธีการจัดกลุ่มว่าจะถูกสร้างขึ้นอย่างไร ไม่ว่าจะเป็นจำนวนกลุ่มเป้าหมาย หรือเกณฑ์ระยะห่าง (distance threshold) ที่ตัดสินว่าเอกสารอยู่ใกล้กันพอที่จะอยู่ในกลุ่มเดียวกันหรือไม่ การเลือกนี้จะกำหนดว่าจะมีกี่กลุ่มปรากฏขึ้นและแต่ละกลุ่มจะมีความกระชับเพียงใด
อัลกอริทึมการจัดกลุ่มจะกำหนดเอกสารแต่ละฉบับให้กับกลุ่ม โดยที่เอกสารภายในกลุ่มจะมีความคล้ายคลึงกันมากกว่าเอกสารในกลุ่มอื่น ไม่มีป้ายกำกับใดชี้นำการจัดกลุ่มนี้ การจัดกลุ่มขับเคลื่อนโดยความคล้ายคลึงกันในปริภูมิเวกเตอร์ (vector space) เท่านั้น
กลุ่มที่ได้จะถูกตรวจสอบและจำแนกลักษณะ: นักวิเคราะห์จะอ่านเอกสารที่เป็นตัวแทนและคำที่พบบ่อยในแต่ละกลุ่มเพื่อทำความเข้าใจว่ากลุ่มนั้นจับประเด็นใด จัดระเบียบคอลเลกชัน หรือป้อนผลการค้นพบเข้าสู่การวิเคราะห์เชิงสำรวจ
ข้อผิดพลาดที่พบบ่อย
- การดำเนินการกับเอกสารน้อยเกินไป (ต่ำกว่าประมาณ 100 ฉบับ) จะให้ผลลัพธ์กลุ่มที่ไม่เสถียรและไม่น่าเชื่อถือ — ให้กลับไปใช้วิธีการวิเคราะห์ตามหัวข้อด้วยตนเองแทน
- การเลือกจำนวนกลุ่มหรือเกณฑ์ระยะห่างอย่างไม่ระมัดระวังจะบังคับให้เกิดโครงสร้างตามอำเภอใจกับข้อมูล การกำหนดค่าควรได้รับการพิจารณาอย่างมีเหตุผล ไม่ใช่การคาดเดา
- การข้ามขั้นตอนนี้หรือการแปลงเวกเตอร์ที่ไม่ดีจะทำให้สัญญาณอ่อนแอแก่อัลกอริทึม ดังนั้นกลุ่มจะสะท้อนถึงสัญญาณรบกวน (noise) แทนที่จะเป็นเนื้อหา
- การนำไปใช้ในกรณีที่ไม่มีข้อมูลข้อความที่แท้จริง — การวิเคราะห์เนื้อหาทั่วไปเป็นทางเลือกที่เหมาะสม
คำถามที่พบบ่อย
การจัดกลุ่มเอกสารแตกต่างจากการจำแนกประเภทข้อความอย่างไร
การจำแนกประเภท (Classification) เป็นแบบมีผู้สอน (supervised) — โดยกำหนดเอกสารให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าซึ่งเรียนรู้จากตัวอย่างที่มีป้ายกำกับ การจัดกลุ่ม (Clustering) เป็นแบบไม่มีผู้สอน (unsupervised): ไม่มีป้ายกำกับและไม่มีหมวดหมู่ที่กำหนดไว้ล่วงหน้า กลุ่มต่างๆ เกิดขึ้นจากความคล้ายคลึงกันของเอกสารที่มีต่อกันเท่านั้น
ฉันต้องการเอกสารกี่ฉบับ?
จำนวนขั้นต่ำที่ใช้งานได้ประมาณ 30 ฉบับ แต่การจัดกลุ่มจะน่าเชื่อถือก็ต่อเมื่อมีมากกว่าประมาณ 100 ฉบับ หากมีน้อยกว่าประมาณ 100 ฉบับ กลุ่มต่างๆ จะไม่เสถียร และการวิเคราะห์ตามหัวข้อด้วยตนเองจะเป็นทางเลือกที่ปลอดภัยกว่า
ฉันต้องตัดสินใจจำนวนกลุ่มล่วงหน้าหรือไม่?
คุณต้องกำหนดจำนวนกลุ่มเป้าหมาย หรือเกณฑ์ระยะห่างที่ตัดสินว่าเอกสารอยู่ใกล้กันพอที่จะอยู่ในกลุ่มเดียวกันหรือไม่ การเลือกกำหนดค่าอย่างใดอย่างหนึ่งนี้จำเป็นก่อนที่ขั้นตอนการจัดกลุ่มจะทำงาน
จะเกิดอะไรขึ้นหากเอกสารของฉันยังไม่ได้อยู่ในรูปแบบตัวเลข?
ต้องแปลงเป็นเวกเตอร์ก่อน เช่น เป็นเวกเตอร์ TF-IDF เพื่อให้การวัดระยะทางสามารถเปรียบเทียบได้ การแปลงเวกเตอร์เป็นขั้นตอนแรกของไปป์ไลน์ อัลกอริทึมการจัดกลุ่มทำงานบนเวกเตอร์เหล่านั้น ไม่ใช่บนข้อความดิบ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ISBN: 9781461432227คัดลอกแล้วSteinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว