ภาษาศาสตร์คลังข้อมูล (Corpus Linguistics)
- ผู้เสนอ
- John Sinclair
- ปี
- 1980
- ประเภท
- Empirical process pipeline
- กลุ่มวิธี
- Empirical Linguistics
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
ภาษาศาสตร์คลังข้อมูล คือ การศึกษาภาษาโดยอาศัยชุดข้อมูลข้อความขนาดใหญ่และเป็นตัวแทน (คลังข้อมูล หรือ corpus) ที่ประมวลผลด้วยคอมพิวเตอร์ วิธีการนี้ซึ่งริเริ่มโดย John Sinclair และคณะ ใช้การวิเคราะห์ทางสถิติ การสร้างคำพ้องรูป (concordancing) และเครื่องมือคำนวณเพื่อตรวจสอบรูปแบบการใช้ภาษาจริง ภาษาศาสตร์คลังข้อมูลได้เปลี่ยนแปลงความเข้าใจของเราเกี่ยวกับภาษาอังกฤษและภาษาอื่นๆ โดยเผยให้เห็นรูปแบบความถี่ ความสัมพันธ์ของคำที่มักปรากฏร่วมกัน และความแตกต่างของระดับภาษา (register variation) ที่เคยถูกซ่อนเร้นอยู่ก่อนหน้านี้ วิธีการนี้เป็นประโยชน์ต่อภาษาศาสตร์เชิงทฤษฎี การสอนภาษาประยุกต์ และการประมวลผลภาษาธรรมชาติ
แนวคิดเบื้องหลังวิธีการ
คลังข้อมูลทางภาษาเปรียบเสมือนห้องสมุดขนาดใหญ่ที่รวบรวมการพูดและการเขียนที่เกิดขึ้นจริง ซึ่งได้รับการคัดเลือกและจัดระเบียบอย่างระมัดระวัง แทนที่จะอาศัยประโยคที่แต่งขึ้นหรือข้อสังเกตที่แยกส่วน นักภาษาศาสตร์คลังข้อมูลจะสั่งให้คอมพิวเตอร์ค้นหาคำหรือวลีทั้งหมดที่ปรากฏ นับความถี่ วัดว่าคำใดมีแนวโน้มที่จะปรากฏร่วมกัน และเปรียบเทียบรูปแบบในข้อความประเภทต่างๆ (เช่น หนังสือพิมพ์เทียบกับนวนิยาย การพูดที่เป็นทางการเทียบกับการพูดทั่วไป) รูปแบบที่ปรากฏในข้อความนับล้านคำมักจะล้มล้างสมมติฐานเชิงทฤษฎี หรือยืนยันการคาดการณ์ด้วยความเข้มงวดเชิงปริมาณ
ประวัติศาสตร์
John Sinclair เป็นผู้บุกเบิกภาษาศาสตร์คลังข้อมูลในช่วงทศวรรษ 1960-1980 โดยได้สร้าง Survey of English Usage และต่อมาคือโครงการ COBUILD การจัดเก็บข้อมูลดิจิทัลและพลังการประมวลผลทำให้เกิดการเติบโตแบบทวีคูณในช่วงทศวรรษ 1990-2000 คลังข้อมูลขนาดใหญ่ เช่น British National Corpus, Corpus of Contemporary American English และ Google Books Ngram dataset ได้เปลี่ยนแปลงวงการนี้ ปัจจุบัน วิธีการทางคลังข้อมูลถือเป็นมาตรฐานในสาขาภาษาศาสตร์ การศึกษาภาษาประยุกต์ และ NLP
ควรใช้เมื่อใด
ใช้ภาษาศาสตร์คลังข้อมูลเพื่อตรวจสอบรูปแบบการใช้ภาษาจริง เพื่อทดสอบสมมติฐานเชิงทฤษฎีด้วยข้อมูลเชิงประจักษ์ เพื่อทำความเข้าใจความแปรผันในระดับภาษาและภาษาถิ่นต่างๆ หรือเพื่อพัฒนาทรัพยากรภาษาสำหรับการประยุกต์ใช้ในการประมวลผลภาษาธรรมชาติ (NLP) คลังข้อมูลมีความสำคัญอย่างยิ่งต่อการศึกษาปรากฏการณ์ที่มีความถี่สูง ความแปรผันของภาษาถิ่น การเปลี่ยนแปลงของภาษา และความหมายของคำศัพท์ คลังข้อมูลช่วยเสริมวิธีการเชิงทดลองและการสังเกตตนเอง
ข้อจำกัดและข้อควรพิจารณา
- คลังข้อมูลเป็นเพียงตัวอย่างที่มีขอบเขตจำกัด ปรากฏการณ์ที่มีความถี่ต่ำอาจไม่มีการแสดงแทนอย่างเพียงพอ และการไม่มีอยู่ของรูปแบบในคลังข้อมูลไม่ได้พิสูจน์ว่ารูปแบบนั้นเป็นไปไม่ได้
- การกำกับข้อมูล (การติดป้ายประเภทคำ การวิเคราะห์โครงสร้างประโยค) ก่อให้เกิดข้อผิดพลาดที่ส่งผลต่อไป การกำกับด้วยตนเองมีค่าใช้จ่ายสูง การกำกับอัตโนมัติไม่สมบูรณ์แบบ
- ผลลัพธ์สะท้อนองค์ประกอบของคลังข้อมูล (เช่น คลังข้อมูลที่เป็นลายลักษณ์อักษรอาจไม่ได้แสดงแทนภาษาพูดอย่างเท่าเทียมกัน) ความเอนเอียงในการคัดเลือกส่งผลต่อการค้นพบ
- รูปแบบความถี่ไม่ได้บ่งบอกถึงความสามารถทางภาษาโดยตรง ความถี่สูงอาจสะท้อนปัจจัยด้านการแสดงออก (performance) เช่น แบบแผนการสนทนา มากกว่าโครงสร้างทางไวยากรณ์
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้หลักฐานเชิงประจักษ์สำหรับรูปแบบภาษาที่อิงจากการใช้งานจริง ลดการพึ่งพาการสังเกตตนเองและประโยคที่แต่งขึ้น
- ช่วยให้สามารถวิเคราะห์เชิงปริมาณเกี่ยวกับความถี่ ความสัมพันธ์ของคำ และความแปรผันในชุดข้อมูลขนาดใหญ่และหลากหลาย
- อำนวยความสะดวกในการเปรียบเทียบข้ามภาษาและข้ามระดับภาษาโดยใช้คลังข้อมูลที่เปรียบเทียบกันได้และเป็นมาตรฐาน
- สนับสนุนการค้นพบรูปแบบ (เช่น ความชอบทางความหมาย เครื่องบ่งชี้ระดับภาษา) ที่ยากจะคาดเดาได้หากไม่มีข้อมูล
การประยุกต์ใช้
- การศึกษาความถี่และรูปแบบการใช้งานของกลุ่มคำกริยา (phrasal verbs) ในภาษาอังกฤษ (เช่น 'put up with', 'run into') เพื่อพัฒนาสื่อการสอนที่จัดลำดับตามความถี่
- การวิเคราะห์รูปแบบความสัมพันธ์ของคำเพื่อปรับปรุงการแปลด้วยเครื่อง โดยให้แน่ใจว่าผลลัพธ์เคารพความสัมพันธ์ของคำที่ปรากฏร่วมกันตามธรรมชาติ
- การตรวจสอบการเปลี่ยนแปลงของภาษาเมื่อเวลาผ่านไป โดยการเปรียบเทียบความถี่คำและความสัมพันธ์ของคำในคลังข้อมูลตามยุคสมัย (เช่น Google Books Ngram Viewer)
- การบันทึกภาษาที่ใกล้สูญพันธุ์ โดยการสร้างคลังข้อมูลขนาดเล็กและเฉพาะทาง และวิเคราะห์เพื่อสร้างพจนานุกรมและไวยากรณ์
- การศึกษาความแปรผันของระดับภาษาในภาษาอังกฤษ (วิชาการ ข่าว การสนทนา) เพื่อทำความเข้าใจว่าคำศัพท์และโครงสร้างประโยคแตกต่างกันอย่างไรในบริบททางสังคมต่างๆ
วิธีการทำงาน
วิธีการทำงาน
รวบรวมชุดข้อมูลข้อความขนาดใหญ่และเป็นตัวแทน (โดยทั่วไปคือข้อความนับล้านคำ) ในรูปแบบดิจิทัล โดยให้แน่ใจว่ามีความหลากหลายในด้านประเภทของข้อความ (genres) ระดับภาษา (registers) และผู้พูด/ผู้เขียน
แยกข้อความเป็นคำ (Tokenize) กำกับด้วยประเภทของคำ (part-of-speech tags) และอาจเพิ่มเติมการกำกับเชิงวากยสัมพันธ์หรือความหมาย (การวิเคราะห์โครงสร้างประโยค การระบุชื่อเฉพาะ)
ใช้ซอฟต์แวร์สร้างคำพ้องรูป (concordancing) เพื่อดึงข้อมูลการปรากฏทั้งหมดของคำหรือวลีเป้าหมาย นับความถี่ คำนวณความสัมพันธ์ของคำ (collocations) และสร้างรายการความถี่และการกระจายตัว
ใช้วิธีการทางสถิติ (การวิเคราะห์ความถี่ การทดสอบไค-สแควร์ การวัดความสัมพันธ์ของคำ) เพื่อระบุรูปแบบ วัดความแข็งแกร่งของความสัมพันธ์ และสร้างแบบจำลองความแปรผันของภาษา
สรุปผลเกี่ยวกับโครงสร้างภาษา รูปแบบการใช้งาน ความแปรผันของภาษาถิ่นและระดับภาษา และตรวจสอบการคาดการณ์เชิงทฤษฎีกับหลักฐานเชิงประจักษ์
ข้อผิดพลาดที่พบบ่อย
- การสันนิษฐานว่าความถี่ในคลังข้อมูลสะท้อนการยอมรับได้ทางไวยากรณ์โดยตรง การไม่มีอยู่ของรูปแบบอาจถูกกำหนดโดยการใช้ภาษา (pragmatic constraints) มากกว่าที่จะผิดไวยากรณ์ ความถี่ต่ำอาจสะท้อนบริบทการสนทนา ไม่ใช่ความเป็นไปไม่ได้ทางภาษาศาสตร์
- การละเลยข้อผิดพลาดในการกำกับข้อมูลและการปฏิบัติต่อข้อมูลที่ติดป้ายอัตโนมัติเสมือนเป็นมาตรฐานสูงสุด ควรตรวจสอบการกำกับข้อมูลด้วยตนเอง โดยเฉพาะอย่างยิ่งสำหรับการวิเคราะห์ที่สำคัญ
- การสรุปเกินจริงจากคลังข้อมูลหนึ่งไปยังภาษากว้างๆ องค์ประกอบของคลังข้อมูลมีความสำคัญ ผลลัพธ์จาก British National Corpus อาจไม่สามารถสรุปไปยังภาษาอังกฤษพูดในภูมิภาคอื่นได้
- การสับสนระหว่างความสัมพันธ์ (correlation) กับความเป็นเหตุเป็นผล (causation) ในรูปแบบความสัมพันธ์ของคำ คำสองคำอาจปรากฏร่วมกันบ่อยเนื่องจากหัวข้อ (เช่น 'หิมะ' และ 'ฤดูหนาว') มากกว่าที่จะเป็นความสัมพันธ์ทางความหมายหรือทางไวยากรณ์
คำถามที่พบบ่อย
คลังข้อมูลต้องมีขนาดใหญ่แค่ไหน?
ขึ้นอยู่กับคำถามวิจัยของคุณ สำหรับปรากฏการณ์ที่มีความถี่สูง (คำทั่วไป รูปแบบประโยคพื้นฐาน) ขนาดหลายหมื่นคำก็เพียงพอแล้ว สำหรับปรากฏการณ์ที่หายากหรือความแปรผันโดยละเอียด อาจต้องใช้ข้อความนับล้านคำ หลักการทั่วไปที่ดีคือ: คุณควรมีตัวอย่างปรากฏการณ์เป้าหมายอย่างน้อย 30-50 ครั้งสำหรับการวิเคราะห์ทางสถิติพื้นฐาน อย่างไรก็ตาม แม้คลังข้อมูลเฉพาะทางขนาดเล็ก (หลายพันคำ) ก็มีคุณค่าสำหรับการบันทึกภาษาที่ใกล้สูญพันธุ์
คำพ้องรูป (concordance) คืออะไร?
คำพ้องรูปคือรายการการปรากฏทั้งหมดของคำหรือวลีเป้าหมาย โดยทั่วไปจะแสดงในบริบท (มักจะเป็นหนึ่งหรือสองบรรทัดทั้งสองด้าน) คำเป้าหมายจะอยู่ตรงกลางเพื่อให้สแกนได้ง่าย คำพ้องรูปเผยให้เห็นความสัมพันธ์ของคำ (collocations - คำที่มักปรากฏใกล้เคียงกับคำเป้าหมาย) ความแปรผันของระดับภาษา และรูปแบบทางวากยสัมพันธ์ ซอฟต์แวร์คลังข้อมูลสมัยใหม่สร้างคำพ้องรูปพร้อมกับการนับความถี่และตัวเลือกการจัดเรียง
ฉันจะวัดความแข็งแกร่งของความสัมพันธ์ของคำได้อย่างไร?
มีตัวชี้วัดหลายอย่างที่ใช้วัดความแข็งแกร่งของความสัมพันธ์ของคำ (association) Mutual Information (MI) วัดค่าเบี่ยงเบนจากการปรากฏร่วมกันแบบสุ่ม Log-Likelihood Ratio (LLR) เป็นการทดสอบทางสถิติ T-score และ Delta-P วัดความสัมพันธ์ในลักษณะที่แตกต่างกัน ไม่มีตัวชี้วัดใดที่ดีที่สุดเสมอไป ตัวชี้วัดที่แตกต่างกันเหมาะกับคำถามวิจัยที่แตกต่างกัน ควรตรวจสอบความถี่ดิบควบคู่ไปกับตัวชี้วัดเพื่อหลีกเลี่ยงสิ่งประดิษฐ์ (artifacts) ที่ความสัมพันธ์ที่มีความถี่ต่ำแสดงความสัมพันธ์สูงโดยบังเอิญ
หลักฐานจากคลังข้อมูลสามารถพิสูจน์ว่าประโยคผิดไวยากรณ์ได้หรือไม่?
ไม่ได้ การไม่มีอยู่ของประโยคในคลังข้อมูลแสดงว่าประโยคนั้นมีความถี่ต่ำหรือไม่มีอยู่ในชุดข้อมูลนั้นๆ ไม่ได้หมายความว่าเป็นไปไม่ได้ในภาษานั้น ประโยคอาจหายากเนื่องจากข้อจำกัดด้านการใช้ภาษาหรือการสนทนา ไม่ใช่ความผิดไวยากรณ์ ควรใช้หลักฐานจากคลังข้อมูลร่วมกับการตัดสินความยอมรับได้ (acceptability judgments) ข้อมูลเชิงทดลอง และการให้เหตุผลเชิงทฤษฎีเพื่อสรุปเกี่ยวกับความถูกต้องทางไวยากรณ์
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วMcEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วBiber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว