Skip to content
กลับไปยังผลการค้นหา

การจัดกลุ่มเอกสาร

ประเภท
Unsupervised text-mining task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจัดกลุ่มเอกสาร (Document clustering) เป็นงานการทำเหมืองข้อความแบบไม่มีผู้สอน (unsupervised text-mining task) ที่จัดกลุ่มเอกสารที่มีเนื้อหาคล้ายคลึงกันเข้าไว้ด้วยกันโดยไม่ต้องใช้ป้ายกำกับ (labels) ใดๆ งานนี้ใช้ในการจัดระเบียบเอกสารจำนวนมากและสำหรับการวิเคราะห์เชิงสำรวจ (exploratory analysis) โดยอาศัยชุดเทคนิคการทำเหมืองข้อความที่รวบรวมโดย Aggarwal and Zhai (2012) และเปรียบเทียบเชิงประจักษ์โดย Steinbach, Karypis and Kumar (2000)

แนวคิดเบื้องหลังวิธีการ

เมื่อคุณเผชิญกับเอกสารกองใหญ่และไม่มีใครติดป้ายกำกับไว้เลย คุณยังคงต้องการทราบว่าเอกสารใดควรอยู่กลุ่มเดียวกัน การจัดกลุ่มเอกสารทำงานเช่นนั้น โดยวัดว่าเอกสารมีความคล้ายคลึงกันเพียงใดจากถ้อยคำ และให้เอกสารที่คล้ายคลึงกันตกอยู่ในกลุ่มเดียวกัน ดังนั้นโครงสร้างในคอลเลกชันจึงปรากฏขึ้นเอง แทนที่จะถูกกำหนดโดยหมวดหมู่ที่กำหนดไว้ล่วงหน้า

ประวัติศาสตร์

การจัดกลุ่มเอกสารอยู่ในขอบเขตที่กว้างกว่าของการทำเหมืองข้อความ ซึ่งสำรวจไว้ในหนังสือ Mining Text Data (2012) ของ Aggarwal and Zhai งานพื้นฐานเชิงเปรียบเทียบโดย Steinbach, Karypis and Kumar (2000) ได้ตรวจสอบว่าเทคนิคการจัดกลุ่มเอกสารที่แตกต่างกันทำงานอย่างไร ช่วยสร้างความมั่นใจว่าตระกูลวิธีการใดที่เหมาะสมกับคอลเลกชันข้อความ

ควรใช้เมื่อใด

ใช้การจัดกลุ่มเอกสารเมื่อคุณมีคอลเลกชันเอกสารข้อความแต่ไม่มีป้ายกำกับ และคุณต้องการจัดระเบียบหรือสำรวจโครงสร้างของมัน ข้อความต้องถูกแปลงเป็นเวกเตอร์ก่อน และคุณต้องตัดสินใจเลือกระหว่างจำนวนกลุ่มหรือเกณฑ์ระยะห่าง การดำเนินการนี้ต้องใช้คลังเอกสาร (corpus) ที่เหมาะสม อย่างน้อยประมาณ 30 เอกสาร และจะมีความน่าเชื่อถือเมื่อมีมากกว่าประมาณ 100 เอกสาร หากมีเอกสารน้อยกว่า การวิเคราะห์ตามหัวข้อด้วยตนเองจะเป็นทางเลือกที่ปลอดภัยกว่า หากไม่มีข้อมูลข้อความเลย การจัดกลุ่มเอกสารจะไม่สามารถนำมาใช้ได้

ข้อจำกัดและข้อควรพิจารณา

  • ผลลัพธ์ไม่น่าเชื่อถือในคลังเอกสารขนาดเล็ก ต่ำกว่าประมาณ 100 เอกสาร กลุ่มต่างๆ จะไม่น่าเชื่อถือ
  • จำเป็นต้องแปลงข้อความเป็นเวกเตอร์ก่อน และต้องกำหนดจำนวนกลุ่มหรือเกณฑ์ระยะห่างล่วงหน้า
  • ไม่สามารถนำมาใช้ได้เลยเมื่อไม่มีข้อมูลข้อความ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • แบบไม่มีผู้สอน (Unsupervised) — ไม่ต้องการข้อมูลที่มีป้ายกำกับ ดังนั้นจึงทำงานกับคอลเลกชันดิบที่ไม่มีใครใส่คำอธิบายประกอบ
  • เผยให้เห็นโครงสร้างแฝง (latent structure) ในคลังเอกสาร ทำให้เหมาะสำหรับการจัดระเบียบเอกสารและการวิเคราะห์เชิงสำรวจ
  • ปรับขนาดได้กับคอลเลกชันเอกสารขนาดใหญ่ที่การคัดแยกด้วยมือไม่สามารถทำได้จริง

การประยุกต์ใช้

  • การจัดระเบียบชุดเอกสารขนาดใหญ่เป็นกลุ่มที่สอดคล้องกันเพื่อการนำทางที่ง่ายขึ้น
  • การวิเคราะห์เชิงสำรวจของคลังเอกสารที่ไม่มีป้ายกำกับเพื่อค้นหาว่ามีหัวข้อใดบ้าง
  • การจัดกลุ่มรายงาน บทความ หรือบันทึกที่คล้ายคลึงกันในการดำเนินงานและการวิจัย ก่อนการวิเคราะห์เชิงลึก
  • การจัดโครงสร้างล่วงหน้าของคอลเลกชัน ก่อนการติดป้ายกำกับหรือการจำแนกประเภทดาวน์สตรีม

วิธีการทำงาน

วิธีการทำงาน

1

เอกสารแต่ละฉบับจะถูกแปลงเป็นรูปแบบตัวเลขก่อนผ่านกระบวนการแปลงข้อความเป็นเวกเตอร์ (text vectorisation) เช่น เวกเตอร์ TF-IDF เพื่อให้ถ้อยคำกลายเป็นสิ่งที่การวัดระยะทางสามารถเปรียบเทียบได้ หากไม่มีขั้นตอนนี้ อัลกอริทึมการจัดกลุ่มจะไม่มีอะไรให้ดำเนินการ

2

ก่อนการจัดกลุ่ม นักวิเคราะห์จะกำหนดวิธีการจัดกลุ่มว่าจะถูกสร้างขึ้นอย่างไร ไม่ว่าจะเป็นจำนวนกลุ่มเป้าหมาย หรือเกณฑ์ระยะห่าง (distance threshold) ที่ตัดสินว่าเอกสารอยู่ใกล้กันพอที่จะอยู่ในกลุ่มเดียวกันหรือไม่ การเลือกนี้จะกำหนดว่าจะมีกี่กลุ่มปรากฏขึ้นและแต่ละกลุ่มจะมีความกระชับเพียงใด

3

อัลกอริทึมการจัดกลุ่มจะกำหนดเอกสารแต่ละฉบับให้กับกลุ่ม โดยที่เอกสารภายในกลุ่มจะมีความคล้ายคลึงกันมากกว่าเอกสารในกลุ่มอื่น ไม่มีป้ายกำกับใดชี้นำการจัดกลุ่มนี้ การจัดกลุ่มขับเคลื่อนโดยความคล้ายคลึงกันในปริภูมิเวกเตอร์ (vector space) เท่านั้น

4

กลุ่มที่ได้จะถูกตรวจสอบและจำแนกลักษณะ: นักวิเคราะห์จะอ่านเอกสารที่เป็นตัวแทนและคำที่พบบ่อยในแต่ละกลุ่มเพื่อทำความเข้าใจว่ากลุ่มนั้นจับประเด็นใด จัดระเบียบคอลเลกชัน หรือป้อนผลการค้นพบเข้าสู่การวิเคราะห์เชิงสำรวจ

ข้อผิดพลาดที่พบบ่อย

  • การดำเนินการกับเอกสารน้อยเกินไป (ต่ำกว่าประมาณ 100 ฉบับ) จะให้ผลลัพธ์กลุ่มที่ไม่เสถียรและไม่น่าเชื่อถือ — ให้กลับไปใช้วิธีการวิเคราะห์ตามหัวข้อด้วยตนเองแทน
  • การเลือกจำนวนกลุ่มหรือเกณฑ์ระยะห่างอย่างไม่ระมัดระวังจะบังคับให้เกิดโครงสร้างตามอำเภอใจกับข้อมูล การกำหนดค่าควรได้รับการพิจารณาอย่างมีเหตุผล ไม่ใช่การคาดเดา
  • การข้ามขั้นตอนนี้หรือการแปลงเวกเตอร์ที่ไม่ดีจะทำให้สัญญาณอ่อนแอแก่อัลกอริทึม ดังนั้นกลุ่มจะสะท้อนถึงสัญญาณรบกวน (noise) แทนที่จะเป็นเนื้อหา
  • การนำไปใช้ในกรณีที่ไม่มีข้อมูลข้อความที่แท้จริง — การวิเคราะห์เนื้อหาทั่วไปเป็นทางเลือกที่เหมาะสม

คำถามที่พบบ่อย

การจัดกลุ่มเอกสารแตกต่างจากการจำแนกประเภทข้อความอย่างไร

การจำแนกประเภท (Classification) เป็นแบบมีผู้สอน (supervised) — โดยกำหนดเอกสารให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าซึ่งเรียนรู้จากตัวอย่างที่มีป้ายกำกับ การจัดกลุ่ม (Clustering) เป็นแบบไม่มีผู้สอน (unsupervised): ไม่มีป้ายกำกับและไม่มีหมวดหมู่ที่กำหนดไว้ล่วงหน้า กลุ่มต่างๆ เกิดขึ้นจากความคล้ายคลึงกันของเอกสารที่มีต่อกันเท่านั้น

ฉันต้องการเอกสารกี่ฉบับ?

จำนวนขั้นต่ำที่ใช้งานได้ประมาณ 30 ฉบับ แต่การจัดกลุ่มจะน่าเชื่อถือก็ต่อเมื่อมีมากกว่าประมาณ 100 ฉบับ หากมีน้อยกว่าประมาณ 100 ฉบับ กลุ่มต่างๆ จะไม่เสถียร และการวิเคราะห์ตามหัวข้อด้วยตนเองจะเป็นทางเลือกที่ปลอดภัยกว่า

ฉันต้องตัดสินใจจำนวนกลุ่มล่วงหน้าหรือไม่?

คุณต้องกำหนดจำนวนกลุ่มเป้าหมาย หรือเกณฑ์ระยะห่างที่ตัดสินว่าเอกสารอยู่ใกล้กันพอที่จะอยู่ในกลุ่มเดียวกันหรือไม่ การเลือกกำหนดค่าอย่างใดอย่างหนึ่งนี้จำเป็นก่อนที่ขั้นตอนการจัดกลุ่มจะทำงาน

จะเกิดอะไรขึ้นหากเอกสารของฉันยังไม่ได้อยู่ในรูปแบบตัวเลข?

ต้องแปลงเป็นเวกเตอร์ก่อน เช่น เป็นเวกเตอร์ TF-IDF เพื่อให้การวัดระยะทางสามารถเปรียบเทียบได้ การแปลงเวกเตอร์เป็นขั้นตอนแรกของไปป์ไลน์ อัลกอริทึมการจัดกลุ่มทำงานบนเวกเตอร์เหล่านั้น ไม่ใช่บนข้อความดิบ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN: 9781461432227
    คัดลอกแล้ว
  2. Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว