Skip to content
กลับไปยังผลการค้นหา

การสกัดคำสำคัญ — การระบุคำศัพท์หลักโดยอัตโนมัติ

ประเภท
NLP text-mining task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การสกัดคำสำคัญเป็นงานประมวลผลภาษาธรรมชาติที่ระบุคำหรือวลีที่แสดงถึงเนื้อหาของเอกสารได้ดีที่สุดโดยอัตโนมัติ โดยเปลี่ยนข้อความอิสระให้เป็นรายการคำศัพท์หลักที่กระชับและจัดอันดับ โดยอาศัยวิธีการทางสถิติและแบบกราฟ เช่น TextRank (Mihalcea & Tarau, 2004) หรือวิธีการที่ใช้การฝังคำ (embedding-based methods) เช่น KeyBERT (Grootendorst, 2020)

แนวคิดเบื้องหลังวิธีการ

เอกสารขนาดยาวจะสื่อความหมายผ่านคำศัพท์ที่เกิดซ้ำและโดดเด่นเพียงไม่กี่คำ แต่การอ่านข้อความทั้งหมดด้วยมือเพื่อค้นหาคำเหล่านั้นไม่สามารถทำได้ในวงกว้าง การสกัดคำสำคัญจะทำสิ่งนี้โดยอัตโนมัติ โดยจะพิจารณาว่าคำต่างๆ ถูกใช้อย่างไรในข้อความ และแสดงคำเพียงไม่กี่คำที่จับใจความสำคัญของเอกสารได้ดีที่สุด โดยจัดอันดับเพื่อให้คำศัพท์ที่แสดงถึงเนื้อหามากที่สุดขึ้นมาอยู่ด้านบน

ประวัติศาสตร์

การสกัดคำสำคัญอัตโนมัติมีความสมบูรณ์ด้วยการจัดอันดับแบบกราฟ: Mihalcea และ Tarau (2004) ได้นำเสนอ TextRank โดยใช้อัลกอริทึมสไตล์ PageRank กับกราฟการเกิดร่วมของคำเพื่อแสดงคำศัพท์หลัก ต่อมาสาขานี้ได้พัฒนาไปสู่วิธีการที่ใช้การฝังคำ ซึ่งมีตัวอย่างเช่น KeyBERT ของ Grootendorst (2020) ซึ่งให้คะแนนวลีผู้สมัครตามความคล้ายคลึงทางความหมายกับเอกสาร

ควรใช้เมื่อใด

การสกัดคำสำคัญเหมาะสมเมื่อคุณมีข้อมูลข้อความและต้องการสรุปหรือจัดทำดัชนีเนื้อหาด้วยคำศัพท์ที่แสดงถึงเนื้อหา สำหรับการอธิบายหรือการสำรวจ ข้อความควรได้รับการประมวลผลล่วงหน้าก่อนการสกัด การสกัดทางสถิติเชื่อถือได้เฉพาะในคลังข้อมูลขนาดใหญ่เท่านั้น บนคลังข้อมูลขนาดเล็ก (น้อยกว่าประมาณ 100 เอกสาร) การวิเคราะห์ความถี่อย่างง่ายเป็นทางเลือกที่ปลอดภัยกว่า และหากไม่มีข้อมูลข้อความเลย งานนี้จะไม่สามารถดำเนินการได้ — การวิเคราะห์เนื้อหาเชิงคุณภาพเป็นทางเลือก

ข้อจำกัดและข้อควรพิจารณา

  • การสกัดทางสถิติไม่น่าเชื่อถือในคลังข้อมูลขนาดเล็ก น้อยกว่าประมาณ 100 เอกสาร ถือว่าไม่น่าเชื่อถือ
  • ต้องการข้อความที่ประมวลผลล่วงหน้า การข้ามการทำความสะอาดจะทำให้คำศัพท์ผู้สมัครด้อยคุณภาพ
  • ไม่สามารถดำเนินการได้เลยเมื่อไม่มีข้อมูลข้อความให้ทำงานด้วย

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เปลี่ยนเอกสารขนาดยาวให้เป็นรายการคำศัพท์ที่กระชับและจัดอันดับโดยอัตโนมัติ
  • ยืดหยุ่นตามวิธีการ: ความถี่ทางสถิติ, TextRank แบบกราฟ, หรือ KeyBERT แบบฝังคำ ภายใต้ไปป์ไลน์เดียว
  • มีอุปสรรคในการใช้งานต่ำ รองรับทั้งการอธิบายอย่างรวดเร็วและการสำรวจคลังข้อมูลเชิงลึก

การประยุกต์ใช้

  • การจัดทำดัชนีและติดแท็กเอกสารด้วยคำศัพท์หลักที่แสดงถึงเนื้อหาสำหรับการค้นหาและดึงข้อมูล
  • การสรุปเนื้อหาของข้อความขนาดยาวได้อย่างรวดเร็ว
  • การสำรวจคลังข้อมูลขนาดใหญ่เพื่อดูว่าเอกสารมีธีมที่เกิดซ้ำร่วมกันอย่างไร
  • การสนับสนุนงานต่อเนื่อง เช่น การสำรวจหัวข้อและการจัดระเบียบเนื้อหา

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความดิบจะถูกทำความสะอาดและทำให้เป็นมาตรฐานก่อน — การแปลงเป็นตัวพิมพ์เล็ก การลบสิ่งรบกวน และการแบ่งเอกสารออกเป็นหน่วยที่สามารถวิเคราะห์ได้ ขั้นตอนการประมวลผลล่วงหน้านี้จำเป็น และพจนานุกรมเฉพาะทาง หากมี จะช่วยเพิ่มคุณภาพของสิ่งที่ตามมา

2

จากข้อความที่ทำความสะอาด วิธีการจะรวบรวมชุดคำศัพท์ผู้สมัคร — คำเดี่ยวและวลีสั้นๆ (n-grams) ที่สามารถใช้เป็นคำสำคัญได้อย่างสมเหตุสมผล ชุดคำศัพท์ผู้สมัครนี้คือสิ่งที่ขั้นตอนการให้คะแนนจะจัดอันดับ

3

คำศัพท์ผู้สมัครแต่ละรายการจะได้รับคะแนนว่าแสดงถึงเอกสารได้ดีเพียงใด วิธีการทางสถิติจะให้น้ำหนักความถี่ของคำศัพท์ วิธีการแบบกราฟ เช่น TextRank จะจัดอันดับคำศัพท์ตามการเชื่อมต่อในกราฟการเกิดร่วม (co-occurrence graph) และวิธีการที่ใช้การฝังคำ เช่น KeyBERT จะให้คะแนนคำศัพท์ผู้สมัครตามความคล้ายคลึงทางความหมายกับเอกสาร

4

คำศัพท์ผู้สมัครจะถูกจัดเรียงตามคะแนน และคำศัพท์อันดับต้นๆ จะถูกส่งกลับเป็นคำสำคัญหรือวลีสำคัญของเอกสาร จำนวนที่ส่งกลับ (เช่น สิบอันดับแรก) ถูกเลือกเพื่อให้ได้บทสรุปที่กระชับแต่ยังคงแสดงถึงเนื้อหา

ข้อผิดพลาดที่พบบ่อย

  • การดำเนินการสกัดทางสถิติบนคลังข้อมูลที่เล็กเกินไป (น้อยกว่าประมาณ 100 เอกสาร) ให้คำสำคัญที่ไม่น่าเชื่อถือ — ให้กลับไปใช้การวิเคราะห์ความถี่อย่างง่ายแทน
  • การพยายามสกัดโดยไม่มีข้อมูลข้อความเลย ให้ใช้วิธีการวิเคราะห์เนื้อหาเชิงคุณภาพในกรณีนั้น
  • การข้ามการประมวลผลล่วงหน้า ซึ่งทำให้สิ่งรบกวนและโทเค็นที่ไม่สอดคล้องกันบิดเบือนชุดคำศัพท์ผู้สมัคร
  • การละเลยพจนานุกรมเฉพาะทางที่มีอยู่ ซึ่งจะช่วยเพิ่มคุณภาพการสกัด

คำถามที่พบบ่อย

ทางสถิติ, TextRank, หรือ KeyBERT — ควรใช้วิธีการใด?

วิธีการทางสถิติให้น้ำหนักความถี่ของคำศัพท์และเป็นวิธีที่ง่ายที่สุด TextRank สร้างกราฟการเกิดร่วมและจัดอันดับคำศัพท์ตามการเชื่อมต่อ โดยจับโครงสร้างที่นอกเหนือไปจากจำนวนนับดิบ KeyBERT ใช้การฝังคำตามบริบทเพื่อประเมินคำศัพท์ผู้สมัครตามความคล้ายคลึงทางความหมายกับเอกสาร ซึ่งมักจะแสดงวลีที่มีความหมายมากกว่าด้วยต้นทุนการคำนวณที่สูงกว่า

ฉันต้องการข้อความมากแค่ไหน?

การสกัดคำสำคัญทางสถิติเชื่อถือได้เฉพาะในคลังข้อมูลขนาดใหญ่เท่านั้น บนคลังข้อมูลขนาดเล็ก — น้อยกว่าประมาณ 100 เอกสาร — การวิเคราะห์ความถี่อย่างง่ายเป็นทางเลือกที่ปลอดภัยกว่า หากไม่มีข้อมูลข้อความเลย งานนี้จะไม่สามารถดำเนินการได้

ฉันต้องประมวลผลข้อความล่วงหน้าก่อนหรือไม่?

ใช่ การประมวลผลล่วงหน้าเป็นสิ่งที่ต้องทำ: ข้อความต้องได้รับการทำความสะอาดและทำให้เป็นมาตรฐานก่อนการสกัด มิฉะนั้นโทเค็นที่มีสิ่งรบกวนจะบิดเบือนคำศัพท์ผู้สมัคร พจนานุกรมเฉพาะทาง หากมี จะช่วยปรับปรุงคุณภาพให้ดียิ่งขึ้น

มันส่งคืนคำเดี่ยวหรือวลี?

ทั้งสองอย่าง ชุดคำศัพท์ผู้สมัครสามารถรวมคำเดี่ยวและวลีสั้นๆ (n-grams) ดังนั้นผลลัพธ์จึงเป็นรายการคำสำคัญหรือวลีสำคัญที่จัดอันดับตามการกำหนดค่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Mihalcea, R. & Tarau, P. (2004). TextRank: Bringing Order into Texts. EMNLP, 404-411.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Grootendorst, M. (2020). KeyBERT. Zenodo.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว