ความหลากหลายของคำศัพท์ — การวัดความสมบูรณ์ของคำศัพท์
- ประเภท
- Text quantification / lexical richness measurement
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การวิเคราะห์ความหลากหลายของคำศัพท์เป็นการหาปริมาณความหลากหลายของคำศัพท์ในข้อความ หรือความสมบูรณ์ของการเลือกใช้คำของผู้เขียน โดยใช้มาตรวัดต่างๆ เช่น อัตราส่วนชนิดต่อจำนวนคำ (type-token ratio หรือ TTR), MTLD, vocd-D และ Yule's K มาตรวัด MTLD และ vocd-D ได้รับการตรวจสอบความถูกต้องโดย McCarthy และ Jarvis (2010) โดยอ้างอิงจากงานวิจัยก่อนหน้าของ Tweedie และ Baayen (1998) เกี่ยวกับความเสถียรของมาตรวัดความสมบูรณ์ของคำศัพท์
แนวคิดเบื้องหลังวิธีการ
หากคุณนับจำนวนคำที่แตกต่างกันที่ใช้ในข้อความเทียบกับจำนวนคำทั้งหมดในข้อความ คุณจะได้รับรู้ถึงความสมบูรณ์ของคำศัพท์: ข้อความที่ใช้คำซ้ำๆ เพียงไม่กี่คำจะมีความหลากหลายน้อยกว่าข้อความที่ใช้คำที่แตกต่างกันจำนวนมาก ข้อควรระวังคือ อัตราส่วนอย่างง่ายนี้จะลดลงเมื่อข้อความยาวขึ้น ดังนั้น วิธีการนี้จึงใช้มาตรวัดที่ทนทานต่อความยาวและปรับความยาวของข้อความให้เท่ากันก่อนที่จะเปรียบเทียบข้อความหนึ่งกับอีกข้อความหนึ่ง
ประวัติศาสตร์
การหาปริมาณความสมบูรณ์ของคำศัพท์มีประวัติยาวนานในสาขาการวิเคราะห์รูปแบบการเขียน (stylometry) และภาษาศาสตร์คลังข้อมูล (corpus linguistics) Tweedie และ Baayen (1998) ได้ตรวจสอบความเสถียรของมาตรวัดความสมบูรณ์ของคำศัพท์ต่างๆ ว่าเป็นฟังก์ชันของความยาวข้อความอย่างไร โดยเปิดเผยข้อจำกัดของอัตราส่วนที่ไวต่อความยาว McCarthy และ Jarvis (2010) ได้ตรวจสอบความถูกต้องของแนวทางที่ซับซ้อนมากขึ้น — MTLD, vocd-D และ HD-D — โดยกำหนดให้มาตรวัดที่ทนทานต่อความยาวเป็นมาตรฐานสำหรับการประเมินความหลากหลาย
ควรใช้เมื่อใด
ใช้ความหลากหลายของคำศัพท์เมื่อคุณมีข้อความที่แบ่งโทเค็นแล้วและต้องการอธิบายหรือเปรียบเทียบความสมบูรณ์ของคำศัพท์ — ระหว่างผู้เขียน เอกสาร หรือกลุ่ม วิธีนี้เหมาะสำหรับวัตถุประสงค์เชิงพรรณนาและเชิงเปรียบเทียบ และต้องการข้อความเพียงเล็กน้อย (อย่างน้อยประมาณสิบโทเค็น) แต่สำหรับการเปรียบเทียบที่เป็นธรรม ข้อความที่นำมาเปรียบเทียบจะต้องมีความยาวเท่ากันและตรงกันในด้านภาษาและประเภทของงานเขียน
ข้อจำกัดและข้อควรพิจารณา
- ความยาวของข้อความส่งผลต่อการคำนวณ TTR; TTR ดิบไม่น่าเชื่อถือเมื่อเปรียบเทียบข้อความที่มีขนาดต่างกัน
- การวิเคราะห์เชิงเปรียบเทียบต้องใช้ความยาวของข้อความที่เท่ากัน (ส่วนย่อยมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction) จึงจะถูกต้อง
- ภาษาและประเภทของงานเขียนส่งผลต่อคะแนนความหลากหลาย ดังนั้น การเปรียบเทียบที่ไม่มีการควบคุมอาจทำให้เข้าใจผิดได้
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เปลี่ยนความสมบูรณ์ของคำศัพท์ในข้อความให้เป็นตัวเลขที่เปรียบเทียบได้โดยใช้มาตรวัดที่ได้รับการตรวจสอบความถูกต้อง (TTR, MTLD, vocd-D, Yule's K)
- MTLD และ vocd-D ได้รับการออกแบบมาให้ทนทานต่อความยาวของข้อความมากกว่าอัตราส่วนชนิดต่อจำนวนคำดิบ
- ง่ายต่อการนำไปใช้และมีประโยชน์ทั้งสำหรับการสร้างโปรไฟล์เชิงพรรณนาและการเปรียบเทียบระหว่างผู้เขียนหรือกลุ่ม
การประยุกต์ใช้
- การสร้างโปรไฟล์ความสมบูรณ์ของคำศัพท์ของผู้เขียนในการศึกษาด้านการวิเคราะห์รูปแบบการเขียนและการระบุผู้เขียน
- การเปรียบเทียบความหลากหลายของคำศัพท์ระหว่างนักเขียน เอกสาร หรือประเภทของงานเขียนในสาขามนุษยศาสตร์
- การประเมินพัฒนาการของคำศัพท์ในการเรียนรู้ภาษาและการวิจัยทางการศึกษา
- การระบุลักษณะความเข้มข้นของการใช้คำในคลังข้อมูลข้อความทางสังคมศาสตร์และธุรกิจ
วิธีการทำงาน
วิธีการทำงาน
ข้อความจะถูกแบ่งออกเป็นโทเค็น (คำ) การนับจำนวนชนิดคำที่แตกต่างกันเทียบกับจำนวนโทเค็นทั้งหมดเป็นรากฐานที่มาตรวัดความหลากหลายทุกชนิดสร้างขึ้น ดังนั้น การแบ่งโทเค็นที่สอดคล้องกันในข้อความที่คุณต้องการเปรียบเทียบจึงเป็นข้อกำหนดแรก
มีการคำนวณมาตรวัดความหลากหลายของคำศัพท์อย่างน้อยหนึ่งมาตรวัด อัตราส่วนชนิดต่อจำนวนคำ (TTR) จะหารจำนวนชนิดคำที่แตกต่างกันด้วยจำนวนโทเค็นทั้งหมด; MTLD และ vocd-D ประมาณค่าความหลากหลายในลักษณะที่ไวต่อความยาวของข้อความน้อยกว่า; และ Yule's K บ่งบอกถึงความเข้มข้นของคำที่ซ้ำกัน มาตรวัดเหล่านี้ร่วมกันอธิบายความสมบูรณ์ของคำศัพท์จากมุมมองที่แตกต่างกัน
เนื่องจาก TTR ลดลงเมื่อความยาวของข้อความเพิ่มขึ้น คะแนนดิบจึงไม่สามารถเปรียบเทียบกันได้โดยตรงในข้อความที่มีขนาดต่างกัน MTLD และ vocd-D ได้รับการออกแบบมาให้เป็นอิสระจากความยาวของข้อความมากขึ้น แต่สำหรับการเปรียบเทียบใดๆ ข้อความควรได้รับการปรับให้เท่าเทียมกัน — เช่น โดยการปรับความยาวให้เท่ากันด้วยส่วนย่อยขนาดมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction — เพื่อให้ความแตกต่างสะท้อนถึงคำศัพท์ ไม่ใช่ความยาวของเอกสาร
คะแนนที่ปรับให้เป็นมาตรฐานจะถูกนำมาเปรียบเทียบระหว่างข้อความ ผู้เขียน หรือกลุ่ม เนื่องจากภาษาและประเภทของงานเขียนก็ส่งผลต่อความหลากหลายเช่นกัน ปัจจัยเหล่านั้นจึงถูกควบคุมให้คงที่หรือถูกควบคุม เพื่อให้การเปรียบเทียบแยกแยะสัญญาณความสมบูรณ์ของคำศัพท์ แทนที่จะเกิดความสับสน
ข้อผิดพลาดที่พบบ่อย
- การเปรียบเทียบ TTR ดิบในข้อความที่มีความยาวต่างกัน — ข้อความที่ยาวกว่าย่อมแสดง TTR ที่ต่ำกว่าเสมอ ดังนั้น การเปรียบเทียบจึงสะท้อนถึงความยาว ไม่ใช่คำศัพท์; ให้ใช้ MTLD หรือ vocd-D หรือปรับความยาวให้เท่ากันก่อน
- การไม่ปรับความยาวของข้อความให้เท่ากันในการเปรียบเทียบ (ไม่มีส่วนย่อยมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction) ทำให้ความแตกต่างของความหลากหลายไม่สามารถตีความได้
- การละเลยความแตกต่างของภาษาและประเภทของงานเขียนเมื่อเปรียบเทียบข้อความทำให้สัญญาณความสมบูรณ์ของคำศัพท์ปะปนกับปัจจัยด้านรูปแบบการเขียน
คำถามที่พบบ่อย
ทำไมไม่ใช้แค่อัตราส่วนชนิดต่อจำนวนคำ (TTR)?
TTR เป็นมาตรวัดที่เข้าใจง่าย แต่จะลดลงเมื่อข้อความยาวขึ้น เนื่องจากข้อความทุกข้อความจะนำคำทั่วไปกลับมาใช้ซ้ำในที่สุด นั่นทำให้ TTR ดิบไม่น่าเชื่อถือสำหรับการเปรียบเทียบข้อความที่มีความยาวต่างกัน MTLD และ vocd-D ได้รับการออกแบบมาให้ไวต่อความยาวของข้อความน้อยกว่ามาก ซึ่งเป็นเหตุผลที่นิยมใช้สำหรับการเปรียบเทียบ
ฉันต้องการข้อความมากแค่ไหน?
วิธีการนี้ใช้ได้กับข้อความจำนวนไม่มาก — อย่างน้อยประมาณสิบโทเค็น — แต่ข้อความที่มากขึ้นจะให้ค่าประมาณที่เสถียรยิ่งขึ้น สำหรับการเปรียบเทียบ สิ่งที่สำคัญที่สุดคือข้อความเหล่านั้นถูกปรับให้มีความยาวเท่ากันมากกว่าที่ข้อความใดข้อความหนึ่งจะยาวมาก
ฉันสามารถเปรียบเทียบความหลากหลายของข้อความสองข้อความที่แตกต่างกันได้โดยตรงหรือไม่?
ทำได้ก็ต่อเมื่อปรับให้เท่าเทียมกันแล้วเท่านั้น ปรับความยาวให้เท่ากันด้วยส่วนย่อยขนาดมาตรฐานหรือการสุ่มตัวอย่างแบบ rarefaction และควบคุมภาษาและประเภทของงานเขียน เนื่องจากปัจจัยทั้งสามนี้ส่งผลต่อคะแนนความหลากหลายโดยไม่ขึ้นกับความสมบูรณ์ของคำศัพท์
ฉันควรรายงานมาตรวัดใด?
MTLD และ vocd-D เป็นมาตรวัดที่ได้รับการตรวจสอบความถูกต้องและทนทานต่อความยาว และมักได้รับความนิยม Yule's K อธิบายว่าคำที่ซ้ำกันมีความเข้มข้นอย่างไร และ TTR ยังคงมีประโยชน์ในฐานะตัวเลขเชิงพรรณนาอย่างง่ายเมื่อข้อความมีความยาวเท่ากัน การรายงานมาตรวัดมากกว่าหนึ่งมาตรวัดจะให้ภาพที่สมบูรณ์ยิ่งขึ้น
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วTweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว