Skip to content
กลับไปยังผลการค้นหา

ภาษาศาสตร์คลังข้อมูล (Corpus Linguistics)

ผู้เสนอ
John Sinclair
ปี
1980
ประเภท
Empirical process pipeline
กลุ่มวิธี
Empirical Linguistics

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

ภาษาศาสตร์คลังข้อมูล คือ การศึกษาภาษาโดยอาศัยชุดข้อมูลข้อความขนาดใหญ่และเป็นตัวแทน (คลังข้อมูล หรือ corpus) ที่ประมวลผลด้วยคอมพิวเตอร์ วิธีการนี้ซึ่งริเริ่มโดย John Sinclair และคณะ ใช้การวิเคราะห์ทางสถิติ การสร้างคำพ้องรูป (concordancing) และเครื่องมือคำนวณเพื่อตรวจสอบรูปแบบการใช้ภาษาจริง ภาษาศาสตร์คลังข้อมูลได้เปลี่ยนแปลงความเข้าใจของเราเกี่ยวกับภาษาอังกฤษและภาษาอื่นๆ โดยเผยให้เห็นรูปแบบความถี่ ความสัมพันธ์ของคำที่มักปรากฏร่วมกัน และความแตกต่างของระดับภาษา (register variation) ที่เคยถูกซ่อนเร้นอยู่ก่อนหน้านี้ วิธีการนี้เป็นประโยชน์ต่อภาษาศาสตร์เชิงทฤษฎี การสอนภาษาประยุกต์ และการประมวลผลภาษาธรรมชาติ

แนวคิดเบื้องหลังวิธีการ

คลังข้อมูลทางภาษาเปรียบเสมือนห้องสมุดขนาดใหญ่ที่รวบรวมการพูดและการเขียนที่เกิดขึ้นจริง ซึ่งได้รับการคัดเลือกและจัดระเบียบอย่างระมัดระวัง แทนที่จะอาศัยประโยคที่แต่งขึ้นหรือข้อสังเกตที่แยกส่วน นักภาษาศาสตร์คลังข้อมูลจะสั่งให้คอมพิวเตอร์ค้นหาคำหรือวลีทั้งหมดที่ปรากฏ นับความถี่ วัดว่าคำใดมีแนวโน้มที่จะปรากฏร่วมกัน และเปรียบเทียบรูปแบบในข้อความประเภทต่างๆ (เช่น หนังสือพิมพ์เทียบกับนวนิยาย การพูดที่เป็นทางการเทียบกับการพูดทั่วไป) รูปแบบที่ปรากฏในข้อความนับล้านคำมักจะล้มล้างสมมติฐานเชิงทฤษฎี หรือยืนยันการคาดการณ์ด้วยความเข้มงวดเชิงปริมาณ

ประวัติศาสตร์

John Sinclair เป็นผู้บุกเบิกภาษาศาสตร์คลังข้อมูลในช่วงทศวรรษ 1960-1980 โดยได้สร้าง Survey of English Usage และต่อมาคือโครงการ COBUILD การจัดเก็บข้อมูลดิจิทัลและพลังการประมวลผลทำให้เกิดการเติบโตแบบทวีคูณในช่วงทศวรรษ 1990-2000 คลังข้อมูลขนาดใหญ่ เช่น British National Corpus, Corpus of Contemporary American English และ Google Books Ngram dataset ได้เปลี่ยนแปลงวงการนี้ ปัจจุบัน วิธีการทางคลังข้อมูลถือเป็นมาตรฐานในสาขาภาษาศาสตร์ การศึกษาภาษาประยุกต์ และ NLP

ควรใช้เมื่อใด

ใช้ภาษาศาสตร์คลังข้อมูลเพื่อตรวจสอบรูปแบบการใช้ภาษาจริง เพื่อทดสอบสมมติฐานเชิงทฤษฎีด้วยข้อมูลเชิงประจักษ์ เพื่อทำความเข้าใจความแปรผันในระดับภาษาและภาษาถิ่นต่างๆ หรือเพื่อพัฒนาทรัพยากรภาษาสำหรับการประยุกต์ใช้ในการประมวลผลภาษาธรรมชาติ (NLP) คลังข้อมูลมีความสำคัญอย่างยิ่งต่อการศึกษาปรากฏการณ์ที่มีความถี่สูง ความแปรผันของภาษาถิ่น การเปลี่ยนแปลงของภาษา และความหมายของคำศัพท์ คลังข้อมูลช่วยเสริมวิธีการเชิงทดลองและการสังเกตตนเอง

ข้อจำกัดและข้อควรพิจารณา

  • คลังข้อมูลเป็นเพียงตัวอย่างที่มีขอบเขตจำกัด ปรากฏการณ์ที่มีความถี่ต่ำอาจไม่มีการแสดงแทนอย่างเพียงพอ และการไม่มีอยู่ของรูปแบบในคลังข้อมูลไม่ได้พิสูจน์ว่ารูปแบบนั้นเป็นไปไม่ได้
  • การกำกับข้อมูล (การติดป้ายประเภทคำ การวิเคราะห์โครงสร้างประโยค) ก่อให้เกิดข้อผิดพลาดที่ส่งผลต่อไป การกำกับด้วยตนเองมีค่าใช้จ่ายสูง การกำกับอัตโนมัติไม่สมบูรณ์แบบ
  • ผลลัพธ์สะท้อนองค์ประกอบของคลังข้อมูล (เช่น คลังข้อมูลที่เป็นลายลักษณ์อักษรอาจไม่ได้แสดงแทนภาษาพูดอย่างเท่าเทียมกัน) ความเอนเอียงในการคัดเลือกส่งผลต่อการค้นพบ
  • รูปแบบความถี่ไม่ได้บ่งบอกถึงความสามารถทางภาษาโดยตรง ความถี่สูงอาจสะท้อนปัจจัยด้านการแสดงออก (performance) เช่น แบบแผนการสนทนา มากกว่าโครงสร้างทางไวยากรณ์

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้หลักฐานเชิงประจักษ์สำหรับรูปแบบภาษาที่อิงจากการใช้งานจริง ลดการพึ่งพาการสังเกตตนเองและประโยคที่แต่งขึ้น
  • ช่วยให้สามารถวิเคราะห์เชิงปริมาณเกี่ยวกับความถี่ ความสัมพันธ์ของคำ และความแปรผันในชุดข้อมูลขนาดใหญ่และหลากหลาย
  • อำนวยความสะดวกในการเปรียบเทียบข้ามภาษาและข้ามระดับภาษาโดยใช้คลังข้อมูลที่เปรียบเทียบกันได้และเป็นมาตรฐาน
  • สนับสนุนการค้นพบรูปแบบ (เช่น ความชอบทางความหมาย เครื่องบ่งชี้ระดับภาษา) ที่ยากจะคาดเดาได้หากไม่มีข้อมูล

การประยุกต์ใช้

  • การศึกษาความถี่และรูปแบบการใช้งานของกลุ่มคำกริยา (phrasal verbs) ในภาษาอังกฤษ (เช่น 'put up with', 'run into') เพื่อพัฒนาสื่อการสอนที่จัดลำดับตามความถี่
  • การวิเคราะห์รูปแบบความสัมพันธ์ของคำเพื่อปรับปรุงการแปลด้วยเครื่อง โดยให้แน่ใจว่าผลลัพธ์เคารพความสัมพันธ์ของคำที่ปรากฏร่วมกันตามธรรมชาติ
  • การตรวจสอบการเปลี่ยนแปลงของภาษาเมื่อเวลาผ่านไป โดยการเปรียบเทียบความถี่คำและความสัมพันธ์ของคำในคลังข้อมูลตามยุคสมัย (เช่น Google Books Ngram Viewer)
  • การบันทึกภาษาที่ใกล้สูญพันธุ์ โดยการสร้างคลังข้อมูลขนาดเล็กและเฉพาะทาง และวิเคราะห์เพื่อสร้างพจนานุกรมและไวยากรณ์
  • การศึกษาความแปรผันของระดับภาษาในภาษาอังกฤษ (วิชาการ ข่าว การสนทนา) เพื่อทำความเข้าใจว่าคำศัพท์และโครงสร้างประโยคแตกต่างกันอย่างไรในบริบททางสังคมต่างๆ

วิธีการทำงาน

วิธีการทำงาน

1

รวบรวมชุดข้อมูลข้อความขนาดใหญ่และเป็นตัวแทน (โดยทั่วไปคือข้อความนับล้านคำ) ในรูปแบบดิจิทัล โดยให้แน่ใจว่ามีความหลากหลายในด้านประเภทของข้อความ (genres) ระดับภาษา (registers) และผู้พูด/ผู้เขียน

2

แยกข้อความเป็นคำ (Tokenize) กำกับด้วยประเภทของคำ (part-of-speech tags) และอาจเพิ่มเติมการกำกับเชิงวากยสัมพันธ์หรือความหมาย (การวิเคราะห์โครงสร้างประโยค การระบุชื่อเฉพาะ)

3

ใช้ซอฟต์แวร์สร้างคำพ้องรูป (concordancing) เพื่อดึงข้อมูลการปรากฏทั้งหมดของคำหรือวลีเป้าหมาย นับความถี่ คำนวณความสัมพันธ์ของคำ (collocations) และสร้างรายการความถี่และการกระจายตัว

4

ใช้วิธีการทางสถิติ (การวิเคราะห์ความถี่ การทดสอบไค-สแควร์ การวัดความสัมพันธ์ของคำ) เพื่อระบุรูปแบบ วัดความแข็งแกร่งของความสัมพันธ์ และสร้างแบบจำลองความแปรผันของภาษา

5

สรุปผลเกี่ยวกับโครงสร้างภาษา รูปแบบการใช้งาน ความแปรผันของภาษาถิ่นและระดับภาษา และตรวจสอบการคาดการณ์เชิงทฤษฎีกับหลักฐานเชิงประจักษ์

ข้อผิดพลาดที่พบบ่อย

  • การสันนิษฐานว่าความถี่ในคลังข้อมูลสะท้อนการยอมรับได้ทางไวยากรณ์โดยตรง การไม่มีอยู่ของรูปแบบอาจถูกกำหนดโดยการใช้ภาษา (pragmatic constraints) มากกว่าที่จะผิดไวยากรณ์ ความถี่ต่ำอาจสะท้อนบริบทการสนทนา ไม่ใช่ความเป็นไปไม่ได้ทางภาษาศาสตร์
  • การละเลยข้อผิดพลาดในการกำกับข้อมูลและการปฏิบัติต่อข้อมูลที่ติดป้ายอัตโนมัติเสมือนเป็นมาตรฐานสูงสุด ควรตรวจสอบการกำกับข้อมูลด้วยตนเอง โดยเฉพาะอย่างยิ่งสำหรับการวิเคราะห์ที่สำคัญ
  • การสรุปเกินจริงจากคลังข้อมูลหนึ่งไปยังภาษากว้างๆ องค์ประกอบของคลังข้อมูลมีความสำคัญ ผลลัพธ์จาก British National Corpus อาจไม่สามารถสรุปไปยังภาษาอังกฤษพูดในภูมิภาคอื่นได้
  • การสับสนระหว่างความสัมพันธ์ (correlation) กับความเป็นเหตุเป็นผล (causation) ในรูปแบบความสัมพันธ์ของคำ คำสองคำอาจปรากฏร่วมกันบ่อยเนื่องจากหัวข้อ (เช่น 'หิมะ' และ 'ฤดูหนาว') มากกว่าที่จะเป็นความสัมพันธ์ทางความหมายหรือทางไวยากรณ์

คำถามที่พบบ่อย

คลังข้อมูลต้องมีขนาดใหญ่แค่ไหน?

ขึ้นอยู่กับคำถามวิจัยของคุณ สำหรับปรากฏการณ์ที่มีความถี่สูง (คำทั่วไป รูปแบบประโยคพื้นฐาน) ขนาดหลายหมื่นคำก็เพียงพอแล้ว สำหรับปรากฏการณ์ที่หายากหรือความแปรผันโดยละเอียด อาจต้องใช้ข้อความนับล้านคำ หลักการทั่วไปที่ดีคือ: คุณควรมีตัวอย่างปรากฏการณ์เป้าหมายอย่างน้อย 30-50 ครั้งสำหรับการวิเคราะห์ทางสถิติพื้นฐาน อย่างไรก็ตาม แม้คลังข้อมูลเฉพาะทางขนาดเล็ก (หลายพันคำ) ก็มีคุณค่าสำหรับการบันทึกภาษาที่ใกล้สูญพันธุ์

คำพ้องรูป (concordance) คืออะไร?

คำพ้องรูปคือรายการการปรากฏทั้งหมดของคำหรือวลีเป้าหมาย โดยทั่วไปจะแสดงในบริบท (มักจะเป็นหนึ่งหรือสองบรรทัดทั้งสองด้าน) คำเป้าหมายจะอยู่ตรงกลางเพื่อให้สแกนได้ง่าย คำพ้องรูปเผยให้เห็นความสัมพันธ์ของคำ (collocations - คำที่มักปรากฏใกล้เคียงกับคำเป้าหมาย) ความแปรผันของระดับภาษา และรูปแบบทางวากยสัมพันธ์ ซอฟต์แวร์คลังข้อมูลสมัยใหม่สร้างคำพ้องรูปพร้อมกับการนับความถี่และตัวเลือกการจัดเรียง

ฉันจะวัดความแข็งแกร่งของความสัมพันธ์ของคำได้อย่างไร?

มีตัวชี้วัดหลายอย่างที่ใช้วัดความแข็งแกร่งของความสัมพันธ์ของคำ (association) Mutual Information (MI) วัดค่าเบี่ยงเบนจากการปรากฏร่วมกันแบบสุ่ม Log-Likelihood Ratio (LLR) เป็นการทดสอบทางสถิติ T-score และ Delta-P วัดความสัมพันธ์ในลักษณะที่แตกต่างกัน ไม่มีตัวชี้วัดใดที่ดีที่สุดเสมอไป ตัวชี้วัดที่แตกต่างกันเหมาะกับคำถามวิจัยที่แตกต่างกัน ควรตรวจสอบความถี่ดิบควบคู่ไปกับตัวชี้วัดเพื่อหลีกเลี่ยงสิ่งประดิษฐ์ (artifacts) ที่ความสัมพันธ์ที่มีความถี่ต่ำแสดงความสัมพันธ์สูงโดยบังเอิญ

หลักฐานจากคลังข้อมูลสามารถพิสูจน์ว่าประโยคผิดไวยากรณ์ได้หรือไม่?

ไม่ได้ การไม่มีอยู่ของประโยคในคลังข้อมูลแสดงว่าประโยคนั้นมีความถี่ต่ำหรือไม่มีอยู่ในชุดข้อมูลนั้นๆ ไม่ได้หมายความว่าเป็นไปไม่ได้ในภาษานั้น ประโยคอาจหายากเนื่องจากข้อจำกัดด้านการใช้ภาษาหรือการสนทนา ไม่ใช่ความผิดไวยากรณ์ ควรใช้หลักฐานจากคลังข้อมูลร่วมกับการตัดสินความยอมรับได้ (acceptability judgments) ข้อมูลเชิงทดลอง และการให้เหตุผลเชิงทฤษฎีเพื่อสรุปเกี่ยวกับความถูกต้องทางไวยากรณ์

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  3. Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว