Skip to content
กลับไปยังผลการค้นหา

ความหลากหลายของคำศัพท์ — การวัดความสมบูรณ์ของคำศัพท์

ประเภท
Text quantification / lexical richness measurement

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การวิเคราะห์ความหลากหลายของคำศัพท์เป็นการหาปริมาณความหลากหลายของคำศัพท์ในข้อความ หรือความสมบูรณ์ของการเลือกใช้คำของผู้เขียน โดยใช้มาตรวัดต่างๆ เช่น อัตราส่วนชนิดต่อจำนวนคำ (type-token ratio หรือ TTR), MTLD, vocd-D และ Yule's K มาตรวัด MTLD และ vocd-D ได้รับการตรวจสอบความถูกต้องโดย McCarthy และ Jarvis (2010) โดยอ้างอิงจากงานวิจัยก่อนหน้าของ Tweedie และ Baayen (1998) เกี่ยวกับความเสถียรของมาตรวัดความสมบูรณ์ของคำศัพท์

แนวคิดเบื้องหลังวิธีการ

หากคุณนับจำนวนคำที่แตกต่างกันที่ใช้ในข้อความเทียบกับจำนวนคำทั้งหมดในข้อความ คุณจะได้รับรู้ถึงความสมบูรณ์ของคำศัพท์: ข้อความที่ใช้คำซ้ำๆ เพียงไม่กี่คำจะมีความหลากหลายน้อยกว่าข้อความที่ใช้คำที่แตกต่างกันจำนวนมาก ข้อควรระวังคือ อัตราส่วนอย่างง่ายนี้จะลดลงเมื่อข้อความยาวขึ้น ดังนั้น วิธีการนี้จึงใช้มาตรวัดที่ทนทานต่อความยาวและปรับความยาวของข้อความให้เท่ากันก่อนที่จะเปรียบเทียบข้อความหนึ่งกับอีกข้อความหนึ่ง

ประวัติศาสตร์

การหาปริมาณความสมบูรณ์ของคำศัพท์มีประวัติยาวนานในสาขาการวิเคราะห์รูปแบบการเขียน (stylometry) และภาษาศาสตร์คลังข้อมูล (corpus linguistics) Tweedie และ Baayen (1998) ได้ตรวจสอบความเสถียรของมาตรวัดความสมบูรณ์ของคำศัพท์ต่างๆ ว่าเป็นฟังก์ชันของความยาวข้อความอย่างไร โดยเปิดเผยข้อจำกัดของอัตราส่วนที่ไวต่อความยาว McCarthy และ Jarvis (2010) ได้ตรวจสอบความถูกต้องของแนวทางที่ซับซ้อนมากขึ้น — MTLD, vocd-D และ HD-D — โดยกำหนดให้มาตรวัดที่ทนทานต่อความยาวเป็นมาตรฐานสำหรับการประเมินความหลากหลาย

ควรใช้เมื่อใด

ใช้ความหลากหลายของคำศัพท์เมื่อคุณมีข้อความที่แบ่งโทเค็นแล้วและต้องการอธิบายหรือเปรียบเทียบความสมบูรณ์ของคำศัพท์ — ระหว่างผู้เขียน เอกสาร หรือกลุ่ม วิธีนี้เหมาะสำหรับวัตถุประสงค์เชิงพรรณนาและเชิงเปรียบเทียบ และต้องการข้อความเพียงเล็กน้อย (อย่างน้อยประมาณสิบโทเค็น) แต่สำหรับการเปรียบเทียบที่เป็นธรรม ข้อความที่นำมาเปรียบเทียบจะต้องมีความยาวเท่ากันและตรงกันในด้านภาษาและประเภทของงานเขียน

ข้อจำกัดและข้อควรพิจารณา

  • ความยาวของข้อความส่งผลต่อการคำนวณ TTR; TTR ดิบไม่น่าเชื่อถือเมื่อเปรียบเทียบข้อความที่มีขนาดต่างกัน
  • การวิเคราะห์เชิงเปรียบเทียบต้องใช้ความยาวของข้อความที่เท่ากัน (ส่วนย่อยมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction) จึงจะถูกต้อง
  • ภาษาและประเภทของงานเขียนส่งผลต่อคะแนนความหลากหลาย ดังนั้น การเปรียบเทียบที่ไม่มีการควบคุมอาจทำให้เข้าใจผิดได้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เปลี่ยนความสมบูรณ์ของคำศัพท์ในข้อความให้เป็นตัวเลขที่เปรียบเทียบได้โดยใช้มาตรวัดที่ได้รับการตรวจสอบความถูกต้อง (TTR, MTLD, vocd-D, Yule's K)
  • MTLD และ vocd-D ได้รับการออกแบบมาให้ทนทานต่อความยาวของข้อความมากกว่าอัตราส่วนชนิดต่อจำนวนคำดิบ
  • ง่ายต่อการนำไปใช้และมีประโยชน์ทั้งสำหรับการสร้างโปรไฟล์เชิงพรรณนาและการเปรียบเทียบระหว่างผู้เขียนหรือกลุ่ม

การประยุกต์ใช้

  • การสร้างโปรไฟล์ความสมบูรณ์ของคำศัพท์ของผู้เขียนในการศึกษาด้านการวิเคราะห์รูปแบบการเขียนและการระบุผู้เขียน
  • การเปรียบเทียบความหลากหลายของคำศัพท์ระหว่างนักเขียน เอกสาร หรือประเภทของงานเขียนในสาขามนุษยศาสตร์
  • การประเมินพัฒนาการของคำศัพท์ในการเรียนรู้ภาษาและการวิจัยทางการศึกษา
  • การระบุลักษณะความเข้มข้นของการใช้คำในคลังข้อมูลข้อความทางสังคมศาสตร์และธุรกิจ

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความจะถูกแบ่งออกเป็นโทเค็น (คำ) การนับจำนวนชนิดคำที่แตกต่างกันเทียบกับจำนวนโทเค็นทั้งหมดเป็นรากฐานที่มาตรวัดความหลากหลายทุกชนิดสร้างขึ้น ดังนั้น การแบ่งโทเค็นที่สอดคล้องกันในข้อความที่คุณต้องการเปรียบเทียบจึงเป็นข้อกำหนดแรก

2

มีการคำนวณมาตรวัดความหลากหลายของคำศัพท์อย่างน้อยหนึ่งมาตรวัด อัตราส่วนชนิดต่อจำนวนคำ (TTR) จะหารจำนวนชนิดคำที่แตกต่างกันด้วยจำนวนโทเค็นทั้งหมด; MTLD และ vocd-D ประมาณค่าความหลากหลายในลักษณะที่ไวต่อความยาวของข้อความน้อยกว่า; และ Yule's K บ่งบอกถึงความเข้มข้นของคำที่ซ้ำกัน มาตรวัดเหล่านี้ร่วมกันอธิบายความสมบูรณ์ของคำศัพท์จากมุมมองที่แตกต่างกัน

3

เนื่องจาก TTR ลดลงเมื่อความยาวของข้อความเพิ่มขึ้น คะแนนดิบจึงไม่สามารถเปรียบเทียบกันได้โดยตรงในข้อความที่มีขนาดต่างกัน MTLD และ vocd-D ได้รับการออกแบบมาให้เป็นอิสระจากความยาวของข้อความมากขึ้น แต่สำหรับการเปรียบเทียบใดๆ ข้อความควรได้รับการปรับให้เท่าเทียมกัน — เช่น โดยการปรับความยาวให้เท่ากันด้วยส่วนย่อยขนาดมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction — เพื่อให้ความแตกต่างสะท้อนถึงคำศัพท์ ไม่ใช่ความยาวของเอกสาร

4

คะแนนที่ปรับให้เป็นมาตรฐานจะถูกนำมาเปรียบเทียบระหว่างข้อความ ผู้เขียน หรือกลุ่ม เนื่องจากภาษาและประเภทของงานเขียนก็ส่งผลต่อความหลากหลายเช่นกัน ปัจจัยเหล่านั้นจึงถูกควบคุมให้คงที่หรือถูกควบคุม เพื่อให้การเปรียบเทียบแยกแยะสัญญาณความสมบูรณ์ของคำศัพท์ แทนที่จะเกิดความสับสน

ข้อผิดพลาดที่พบบ่อย

  • การเปรียบเทียบ TTR ดิบในข้อความที่มีความยาวต่างกัน — ข้อความที่ยาวกว่าย่อมแสดง TTR ที่ต่ำกว่าเสมอ ดังนั้น การเปรียบเทียบจึงสะท้อนถึงความยาว ไม่ใช่คำศัพท์; ให้ใช้ MTLD หรือ vocd-D หรือปรับความยาวให้เท่ากันก่อน
  • การไม่ปรับความยาวของข้อความให้เท่ากันในการเปรียบเทียบ (ไม่มีส่วนย่อยมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction) ทำให้ความแตกต่างของความหลากหลายไม่สามารถตีความได้
  • การละเลยความแตกต่างของภาษาและประเภทของงานเขียนเมื่อเปรียบเทียบข้อความทำให้สัญญาณความสมบูรณ์ของคำศัพท์ปะปนกับปัจจัยด้านรูปแบบการเขียน

คำถามที่พบบ่อย

ทำไมไม่ใช้แค่อัตราส่วนชนิดต่อจำนวนคำ (TTR)?

TTR เป็นมาตรวัดที่เข้าใจง่าย แต่จะลดลงเมื่อข้อความยาวขึ้น เนื่องจากข้อความทุกข้อความจะนำคำทั่วไปกลับมาใช้ซ้ำในที่สุด นั่นทำให้ TTR ดิบไม่น่าเชื่อถือสำหรับการเปรียบเทียบข้อความที่มีความยาวต่างกัน MTLD และ vocd-D ได้รับการออกแบบมาให้ไวต่อความยาวของข้อความน้อยกว่ามาก ซึ่งเป็นเหตุผลที่นิยมใช้สำหรับการเปรียบเทียบ

ฉันต้องการข้อความมากแค่ไหน?

วิธีการนี้ใช้ได้กับข้อความจำนวนไม่มาก — อย่างน้อยประมาณสิบโทเค็น — แต่ข้อความที่มากขึ้นจะให้ค่าประมาณที่เสถียรยิ่งขึ้น สำหรับการเปรียบเทียบ สิ่งที่สำคัญที่สุดคือข้อความเหล่านั้นถูกปรับให้มีความยาวเท่ากันมากกว่าที่ข้อความใดข้อความหนึ่งจะยาวมาก

ฉันสามารถเปรียบเทียบความหลากหลายของข้อความสองข้อความที่แตกต่างกันได้โดยตรงหรือไม่?

ทำได้ก็ต่อเมื่อปรับให้เท่าเทียมกันแล้วเท่านั้น ปรับความยาวให้เท่ากันด้วยส่วนย่อยขนาดมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction และควบคุมภาษาและประเภทของงานเขียน เนื่องจากปัจจัยทั้งสามนี้ส่งผลต่อคะแนนความหลากหลายโดยไม่ขึ้นกับความสมบูรณ์ของคำศัพท์

ฉันควรรายงานมาตรวัดใด?

MTLD และ vocd-D เป็นมาตรวัดที่ได้รับการตรวจสอบความถูกต้องและทนทานต่อความยาว และมักได้รับความนิยม Yule's K อธิบายว่าคำที่ซ้ำกันมีความเข้มข้นอย่างไร และ TTR ยังคงมีประโยชน์ในฐานะตัวเลขเชิงพรรณนาอย่างง่ายเมื่อข้อความมีความยาวเท่ากัน การรายงานมาตรวัดมากกว่าหนึ่งมาตรวัดจะให้ภาพที่สมบูรณ์ยิ่งขึ้น

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว