Skip to content
กลับไปยังผลการค้นหา

การวิเคราะห์ความถี่ของข้อความ — การนับคำและ N-gram

ผู้เสนอ
George K. Zipf (frequency-distribution foundation)
ปี
1949
ประเภท
Descriptive text-mining analysis

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การวิเคราะห์ความถี่ของข้อความเป็นวิธีการทำเหมืองข้อความเชิงพรรณนาที่นับจำนวนครั้งที่คำ, n-gram, และวลีปรากฏในคลังข้อความ เพื่อเปิดเผยรูปแบบเนื้อหาและประเด็นหลัก วิธีการนี้อิงตามแนวคิดการกระจายความถี่ที่ George K. Zipf (1949) ได้วางกรอบไว้ว่า มีคำบางคำที่ปรากฏบ่อยมากในขณะที่ส่วนใหญ่หายาก และเป็นหนึ่งในจุดเริ่มต้นพื้นฐานและใช้กันอย่างแพร่หลายที่สุดในการวิเคราะห์ข้อความเชิงปริมาณ

แนวคิดเบื้องหลังวิธีการ

เมื่อคุณอ่านข้อความ คำที่ปรากฏซ้ำแล้วซ้ำอีกจะบอกคุณว่าข้อความนั้นเกี่ยวกับอะไร การวิเคราะห์ความถี่ของข้อความทำให้สัญชาตญาณนั้นชัดเจนและทำซ้ำได้: แทนที่จะอ่านผ่านๆ คุณจะนับทุกโทเค็น ทุกลำดับคำสองหรือสามคำ และทุกวลีที่เกิดซ้ำ จากนั้นจัดอันดับตามความถี่ที่ปรากฏ ผลลัพธ์ที่ได้คือตารางความถี่ที่แสดงคำศัพท์และประเด็นหลักของคลังข้อความได้อย่างรวดเร็ว โดยไม่ต้องมีการอ่านแบบอัตวิสัย

ประวัติศาสตร์

การวิเคราะห์ความถี่ของข้อความสร้างขึ้นจากการสังเกตของ Zipf (1949) ใน Human Behavior and the Principle of Least Effort ที่ว่าความถี่ของคำเป็นไปตามการกระจายลักษณะเฉพาะที่คำบางคำปรากฏบ่อยมากและส่วนใหญ่หายาก Manning และ Schütze (1999) ใน Foundations of Statistical Natural Language Processing ได้กำหนดให้การนับความถี่เป็นเครื่องมือพื้นฐานของการประมวลผลภาษาธรรมชาติเชิงสถิติ (Statistical Natural Language Processing - NLP) ซึ่งเป็นรากฐานของวิธีการที่ซับซ้อนยิ่งขึ้น เช่น TF-IDF และการสร้างแบบจำลองหัวข้อ

ควรใช้เมื่อใด

ใช้การวิเคราะห์ความถี่ของข้อความเมื่อคุณมีข้อมูลข้อความและต้องการดูคำศัพท์หลัก, n-gram, หรือวลีในเบื้องต้นแบบเชิงพรรณนาหรือเชิงสำรวจ เหมาะสำหรับคลังข้อความแบบภาคตัดขวางและแบบตามยาว และต้องการข้อความเพียงเล็กน้อย (ประมาณ 10 เอกสารขึ้นไป) ควรทำการประมวลผลล่วงหน้าที่เหมาะสมก่อน — การแบ่งเป็นโทเค็น, การลบคำหยุด, และการลดรูป — และคุณควรจำไว้ว่าขนาดของคลังข้อความและความหลากหลายทางภาษาส่งผลต่อความน่าเชื่อถือของความถี่

ข้อจำกัดและข้อควรพิจารณา

  • ขนาดของคลังข้อความและความหลากหลายทางภาษาส่งผลต่อความน่าเชื่อถือของความถี่
  • การนับดิบจับคำศัพท์พื้นผิวได้ แต่ไม่ใช่บริบท ความหมาย หรือความรู้สึก
  • ผลลัพธ์ขึ้นอยู่กับการเลือกการประมวลผลล่วงหน้าอย่างมาก เช่น รายการคำหยุดและการลดรูป

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียบง่าย โปร่งใส และตีความได้ง่าย — เป็นจุดเริ่มต้นพื้นฐานที่สุดในการวิเคราะห์ข้อความเชิงปริมาณ
  • เปิดเผยรูปแบบเนื้อหาและประเด็นหลักโดยตรงจากการนับดิบ โดยไม่จำเป็นต้องมีข้อมูลการฝึกอบรมที่มีป้ายกำกับ
  • ใช้ได้กับคำ, n-gram, และวลีเหมือนกัน จึงปรับให้เข้ากับหน่วยความหมายที่แตกต่างกันได้

การประยุกต์ใช้

  • การระบุคำศัพท์และประเด็นหลักของชุดเอกสาร
  • การสำรวจรูปแบบ n-gram และวลีในการตอบแบบสำรวจหรือบันทึกการสัมภาษณ์
  • การจัดทำโปรไฟล์เนื้อหาในคลังข้อความทางสังคม สุขภาพ การศึกษา วิศวกรรม และธุรกิจ
  • ทำหน้าที่เป็นขั้นตอนแรกเชิงพรรณนาก่อนวิธีการทำเหมืองข้อความขั้นสูง

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความดิบจะถูกเตรียมก่อนที่จะมีการนับสิ่งใดๆ: จะถูกแบ่งเป็นโทเค็น (tokenised) เป็นคำ, คำหยุด (stop-words) (คำที่มีความถี่สูง เช่น 'the' หรือ 'and') จะถูกลบออก, และโทเค็นที่เหลือจะถูกลดรูป (lemmatised) ให้อยู่ในรูปพื้นฐานเดียวกัน การประมวลผลล่วงหน้าที่สอดคล้องกันคือสิ่งที่ทำให้การนับสุดท้ายสามารถเปรียบเทียบและมีความหมายได้ แทนที่จะถูกครอบงำด้วยคำเติมทางไวยากรณ์

2

หน่วยที่สนใจแต่ละหน่วยจะถูกนับตลอดทั้งคลังข้อความ โทเค็นเดี่ยวจะถูกนับสำหรับความถี่ของคำ, ลำดับโทเค็นที่อยู่ติดกันจะถูกนับสำหรับความถี่ของ n-gram (bigrams, trigrams), และสำนวนหลายคำที่เกิดซ้ำจะถูกนับเป็นวลี ผลลัพธ์ของขั้นตอนนี้คือจำนวนดิบสำหรับแต่ละคำที่แตกต่างกัน

3

คำที่ถูกนับจะถูกเรียงลำดับจากความถี่มากที่สุดไปน้อยที่สุด โดยทั่วไปจะรายงานเป็นรายการที่พบบ่อยที่สุด มุมมองที่จัดอันดับนี้คือที่ที่การกระจายลักษณะเฉพาะปรากฏขึ้น — ส่วนหัวเล็กๆ ของคำที่มีความถี่สูงมาก และส่วนหางยาวของคำที่หายาก ซึ่งสอดคล้องกับกฎของ Zipf

4

ความถี่ที่จัดอันดับจะถูกอ่านเพื่อหารูปแบบเนื้อหาและประเด็นหลัก ขนาดของคลังข้อความและความหลากหลายทางภาษาของคลังข้อความส่งผลต่อความน่าเชื่อถือของการนับ ดังนั้นการตีความจึงต้องคำนึงถึงขนาดของคลังข้อความและส่วนหางยาวของคำที่หายาก แทนที่จะตีความเกินจริงจากการนับเพียงครั้งเดียว

ข้อผิดพลาดที่พบบ่อย

  • การข้ามการประมวลผลล่วงหน้าทำให้คำฟังก์ชันที่มีความถี่สูงและรูปแบบผันคำครอบงำตารางและบดบังเนื้อหาที่แท้จริง
  • การอ่านความถี่จากคลังข้อความที่เล็กเกินไปหรือแคบเกินไปทำให้ได้การนับที่ไม่เสถียรซึ่งไม่สามารถสรุปผลทั่วไปได้
  • การตีความส่วนหางยาวเกินไป — คำที่หายาก (ส่วนหางแบบ Zipfian) มีสัญญาณความถี่น้อยมาก และง่ายต่อการเข้าใจผิดว่าเป็นสัญญาณรบกวนหรือความหมาย
  • การเปรียบเทียบการนับดิบในคลังข้อความที่มีขนาดต่างกันโดยไม่มีการทำให้เป็นมาตรฐานนำไปสู่ข้อสรุปที่ทำให้เข้าใจผิด

คำถามที่พบบ่อย

การวิเคราะห์ความถี่ของข้อความนับอะไรบ้าง?

มันนับจำนวนครั้งที่คำแต่ละคำ, ลำดับคำที่อยู่ติดกัน (n-grams เช่น bigrams และ trigrams), และวลีที่เกิดซ้ำปรากฏในคลังข้อความ จากนั้นจัดอันดับ ผลลัพธ์ที่ได้คือตารางความถี่ที่แสดงคำและประเด็นหลัก

ทำไมฉันต้องประมวลผลข้อความล่วงหน้าก่อน?

หากไม่มีการแบ่งเป็นโทเค็น, การลบคำหยุด, และการลดรูป, คำฟังก์ชันที่มีความถี่สูงและรูปแบบผันคำของคำเดียวกันจะครอบงำการนับและซ่อนเนื้อหาที่แท้จริง การประมวลผลล่วงหน้าที่สอดคล้องกันทำให้ความถี่สามารถเปรียบเทียบและมีความหมายได้

กฎของ Zipf คืออะไรและทำไมจึงสำคัญที่นี่?

กฎของ Zipf อธิบายรูปแบบทั่วไปที่คำจำนวนน้อยปรากฏบ่อยมากในขณะที่คำส่วนใหญ่หายาก ก่อให้เกิดส่วนหางยาว มันอธิบายรูปร่างของรายการความถี่ที่จัดอันดับและเตือนไม่ให้ตีความส่วนหางของคำที่หายากเกินไป

ฉันต้องการข้อความมากแค่ไหน?

คลังข้อความขนาดปานกลางประมาณสิบเอกสารขึ้นไปสามารถใช้งานได้ แต่ขนาดของคลังข้อความและความหลากหลายทางภาษาส่งผลต่อความน่าเชื่อถือของความถี่ — คลังข้อความที่ใหญ่ขึ้นและเป็นตัวแทนมากขึ้นจะให้การนับที่เสถียรมากขึ้น

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    ISBN: 9780262133609
    คัดลอกแล้ว