การวิเคราะห์ความถี่ของข้อความ — การนับคำและ N-gram
- ผู้เสนอ
- George K. Zipf (frequency-distribution foundation)
- ปี
- 1949
- ประเภท
- Descriptive text-mining analysis
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การวิเคราะห์ความถี่ของข้อความเป็นวิธีการทำเหมืองข้อความเชิงพรรณนาที่นับจำนวนครั้งที่คำ, n-gram, และวลีปรากฏในคลังข้อความ เพื่อเปิดเผยรูปแบบเนื้อหาและประเด็นหลัก วิธีการนี้อิงตามแนวคิดการกระจายความถี่ที่ George K. Zipf (1949) ได้วางกรอบไว้ว่า มีคำบางคำที่ปรากฏบ่อยมากในขณะที่ส่วนใหญ่หายาก และเป็นหนึ่งในจุดเริ่มต้นพื้นฐานและใช้กันอย่างแพร่หลายที่สุดในการวิเคราะห์ข้อความเชิงปริมาณ
แนวคิดเบื้องหลังวิธีการ
เมื่อคุณอ่านข้อความ คำที่ปรากฏซ้ำแล้วซ้ำอีกจะบอกคุณว่าข้อความนั้นเกี่ยวกับอะไร การวิเคราะห์ความถี่ของข้อความทำให้สัญชาตญาณนั้นชัดเจนและทำซ้ำได้: แทนที่จะอ่านผ่านๆ คุณจะนับทุกโทเค็น ทุกลำดับคำสองหรือสามคำ และทุกวลีที่เกิดซ้ำ จากนั้นจัดอันดับตามความถี่ที่ปรากฏ ผลลัพธ์ที่ได้คือตารางความถี่ที่แสดงคำศัพท์และประเด็นหลักของคลังข้อความได้อย่างรวดเร็ว โดยไม่ต้องมีการอ่านแบบอัตวิสัย
ประวัติศาสตร์
การวิเคราะห์ความถี่ของข้อความสร้างขึ้นจากการสังเกตของ Zipf (1949) ใน Human Behavior and the Principle of Least Effort ที่ว่าความถี่ของคำเป็นไปตามการกระจายลักษณะเฉพาะที่คำบางคำปรากฏบ่อยมากและส่วนใหญ่หายาก Manning และ Schütze (1999) ใน Foundations of Statistical Natural Language Processing ได้กำหนดให้การนับความถี่เป็นเครื่องมือพื้นฐานของการประมวลผลภาษาธรรมชาติเชิงสถิติ (Statistical Natural Language Processing - NLP) ซึ่งเป็นรากฐานของวิธีการที่ซับซ้อนยิ่งขึ้น เช่น TF-IDF และการสร้างแบบจำลองหัวข้อ
ควรใช้เมื่อใด
ใช้การวิเคราะห์ความถี่ของข้อความเมื่อคุณมีข้อมูลข้อความและต้องการดูคำศัพท์หลัก, n-gram, หรือวลีในเบื้องต้นแบบเชิงพรรณนาหรือเชิงสำรวจ เหมาะสำหรับคลังข้อความแบบภาคตัดขวางและแบบตามยาว และต้องการข้อความเพียงเล็กน้อย (ประมาณ 10 เอกสารขึ้นไป) ควรทำการประมวลผลล่วงหน้าที่เหมาะสมก่อน — การแบ่งเป็นโทเค็น, การลบคำหยุด, และการลดรูป — และคุณควรจำไว้ว่าขนาดของคลังข้อความและความหลากหลายทางภาษาส่งผลต่อความน่าเชื่อถือของความถี่
ข้อจำกัดและข้อควรพิจารณา
- ขนาดของคลังข้อความและความหลากหลายทางภาษาส่งผลต่อความน่าเชื่อถือของความถี่
- การนับดิบจับคำศัพท์พื้นผิวได้ แต่ไม่ใช่บริบท ความหมาย หรือความรู้สึก
- ผลลัพธ์ขึ้นอยู่กับการเลือกการประมวลผลล่วงหน้าอย่างมาก เช่น รายการคำหยุดและการลดรูป
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียบง่าย โปร่งใส และตีความได้ง่าย — เป็นจุดเริ่มต้นพื้นฐานที่สุดในการวิเคราะห์ข้อความเชิงปริมาณ
- เปิดเผยรูปแบบเนื้อหาและประเด็นหลักโดยตรงจากการนับดิบ โดยไม่จำเป็นต้องมีข้อมูลการฝึกอบรมที่มีป้ายกำกับ
- ใช้ได้กับคำ, n-gram, และวลีเหมือนกัน จึงปรับให้เข้ากับหน่วยความหมายที่แตกต่างกันได้
การประยุกต์ใช้
- การระบุคำศัพท์และประเด็นหลักของชุดเอกสาร
- การสำรวจรูปแบบ n-gram และวลีในการตอบแบบสำรวจหรือบันทึกการสัมภาษณ์
- การจัดทำโปรไฟล์เนื้อหาในคลังข้อความทางสังคม สุขภาพ การศึกษา วิศวกรรม และธุรกิจ
- ทำหน้าที่เป็นขั้นตอนแรกเชิงพรรณนาก่อนวิธีการทำเหมืองข้อความขั้นสูง
วิธีการทำงาน
วิธีการทำงาน
ข้อความดิบจะถูกเตรียมก่อนที่จะมีการนับสิ่งใดๆ: จะถูกแบ่งเป็นโทเค็น (tokenised) เป็นคำ, คำหยุด (stop-words) (คำที่มีความถี่สูง เช่น 'the' หรือ 'and') จะถูกลบออก, และโทเค็นที่เหลือจะถูกลดรูป (lemmatised) ให้อยู่ในรูปพื้นฐานเดียวกัน การประมวลผลล่วงหน้าที่สอดคล้องกันคือสิ่งที่ทำให้การนับสุดท้ายสามารถเปรียบเทียบและมีความหมายได้ แทนที่จะถูกครอบงำด้วยคำเติมทางไวยากรณ์
หน่วยที่สนใจแต่ละหน่วยจะถูกนับตลอดทั้งคลังข้อความ โทเค็นเดี่ยวจะถูกนับสำหรับความถี่ของคำ, ลำดับโทเค็นที่อยู่ติดกันจะถูกนับสำหรับความถี่ของ n-gram (bigrams, trigrams), และสำนวนหลายคำที่เกิดซ้ำจะถูกนับเป็นวลี ผลลัพธ์ของขั้นตอนนี้คือจำนวนดิบสำหรับแต่ละคำที่แตกต่างกัน
คำที่ถูกนับจะถูกเรียงลำดับจากความถี่มากที่สุดไปน้อยที่สุด โดยทั่วไปจะรายงานเป็นรายการที่พบบ่อยที่สุด มุมมองที่จัดอันดับนี้คือที่ที่การกระจายลักษณะเฉพาะปรากฏขึ้น — ส่วนหัวเล็กๆ ของคำที่มีความถี่สูงมาก และส่วนหางยาวของคำที่หายาก ซึ่งสอดคล้องกับกฎของ Zipf
ความถี่ที่จัดอันดับจะถูกอ่านเพื่อหารูปแบบเนื้อหาและประเด็นหลัก ขนาดของคลังข้อความและความหลากหลายทางภาษาของคลังข้อความส่งผลต่อความน่าเชื่อถือของการนับ ดังนั้นการตีความจึงต้องคำนึงถึงขนาดของคลังข้อความและส่วนหางยาวของคำที่หายาก แทนที่จะตีความเกินจริงจากการนับเพียงครั้งเดียว
ข้อผิดพลาดที่พบบ่อย
- การข้ามการประมวลผลล่วงหน้าทำให้คำฟังก์ชันที่มีความถี่สูงและรูปแบบผันคำครอบงำตารางและบดบังเนื้อหาที่แท้จริง
- การอ่านความถี่จากคลังข้อความที่เล็กเกินไปหรือแคบเกินไปทำให้ได้การนับที่ไม่เสถียรซึ่งไม่สามารถสรุปผลทั่วไปได้
- การตีความส่วนหางยาวเกินไป — คำที่หายาก (ส่วนหางแบบ Zipfian) มีสัญญาณความถี่น้อยมาก และง่ายต่อการเข้าใจผิดว่าเป็นสัญญาณรบกวนหรือความหมาย
- การเปรียบเทียบการนับดิบในคลังข้อความที่มีขนาดต่างกันโดยไม่มีการทำให้เป็นมาตรฐานนำไปสู่ข้อสรุปที่ทำให้เข้าใจผิด
คำถามที่พบบ่อย
การวิเคราะห์ความถี่ของข้อความนับอะไรบ้าง?
มันนับจำนวนครั้งที่คำแต่ละคำ, ลำดับคำที่อยู่ติดกัน (n-grams เช่น bigrams และ trigrams), และวลีที่เกิดซ้ำปรากฏในคลังข้อความ จากนั้นจัดอันดับ ผลลัพธ์ที่ได้คือตารางความถี่ที่แสดงคำและประเด็นหลัก
ทำไมฉันต้องประมวลผลข้อความล่วงหน้าก่อน?
หากไม่มีการแบ่งเป็นโทเค็น, การลบคำหยุด, และการลดรูป, คำฟังก์ชันที่มีความถี่สูงและรูปแบบผันคำของคำเดียวกันจะครอบงำการนับและซ่อนเนื้อหาที่แท้จริง การประมวลผลล่วงหน้าที่สอดคล้องกันทำให้ความถี่สามารถเปรียบเทียบและมีความหมายได้
กฎของ Zipf คืออะไรและทำไมจึงสำคัญที่นี่?
กฎของ Zipf อธิบายรูปแบบทั่วไปที่คำจำนวนน้อยปรากฏบ่อยมากในขณะที่คำส่วนใหญ่หายาก ก่อให้เกิดส่วนหางยาว มันอธิบายรูปร่างของรายการความถี่ที่จัดอันดับและเตือนไม่ให้ตีความส่วนหางของคำที่หายากเกินไป
ฉันต้องการข้อความมากแค่ไหน?
คลังข้อความขนาดปานกลางประมาณสิบเอกสารขึ้นไปสามารถใช้งานได้ แต่ขนาดของคลังข้อความและความหลากหลายทางภาษาส่งผลต่อความน่าเชื่อถือของความถี่ — คลังข้อความที่ใหญ่ขึ้นและเป็นตัวแทนมากขึ้นจะให้การนับที่เสถียรมากขึ้น
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วManning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609คัดลอกแล้ว