Skip to content
กลับไปยังผลการค้นหา

แบบจำลองภาษาเอ็นแกรม

ประเภท
Statistical language model

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองภาษาเอ็นแกรม (n-gram language model) คือแบบจำลองทางสถิติที่ใช้ทำนายความน่าจะเป็นของคำถัดไปโดยพิจารณาจากคำ n−1 คำก่อนหน้าเท่านั้น ดังที่ Jurafsky และ Martin (Speech and Language Processing) ได้อธิบายไว้อย่างละเอียด แบบจำลองนี้เป็นโครงสร้างพื้นฐานสำหรับการสร้างข้อความ การแก้ไขการสะกดคำ และการรู้จำเสียงพูด

แนวคิดเบื้องหลังวิธีการ

ภาษาเป็นลำดับ: คำที่คุณเพิ่งเห็นมีอิทธิพลอย่างมากต่อสิ่งที่ตามมา แทนที่จะพิจารณาทั้งประโยคในคราวเดียว แบบจำลองเอ็นแกรมจะใช้สมมติฐานที่เรียบง่ายว่ามีเพียงไม่กี่คำสุดท้ายเท่านั้นที่มีความสำคัญต่อการทำนายคำถัดไป แบบจำลองจะนับความถี่ที่ลำดับคำปรากฏในคลังข้อมูลฝึกฝน และเปลี่ยนจำนวนนับเหล่านั้นให้เป็นความน่าจะเป็น ดังนั้น วลีเช่น 'thank you very' จึงทำให้ 'much' เป็นคำที่น่าจะตามมา

ประวัติศาสตร์

แนวทางเอ็นแกรมเป็นรากฐานที่สำคัญมายาวนานของการประมวลผลภาษาธรรมชาติเชิงสถิติ ซึ่งถือเป็นพื้นฐานใน Speech and Language Processing ของ Jurafsky และ Martin ข้อกังวลที่สำคัญในทางปฏิบัติคือการปรับเรียบมาโดยตลอด: การศึกษาเชิงประจักษ์ของ Chen และ Goodman (1999) ได้เปรียบเทียบเทคนิคการปรับเรียบและกำหนดวิธีการต่างๆ เช่น Kneser-Ney ให้เป็นทางเลือกที่แข็งแกร่งสำหรับการจัดการกับลำดับที่ไม่เคยเห็น แบบจำลองเอ็นแกรมเคยเป็นมาตรฐานมานานก่อนที่แบบจำลองภาษาโครงข่ายประสาทเทียมจะเข้ามามีบทบาท

ควรใช้เมื่อใด

ใช้แบบจำลองเอ็นแกรมเมื่อคุณมีคลังข้อความขนาดใหญ่พอสมควร (แหล่งข้อมูลแนะนำอย่างน้อยประมาณ 100 เอกสาร) และงานที่กำหนดให้เป็นการทำนายหรืออธิบายลำดับคำ — การเติมข้อความอัตโนมัติ การแก้ไขการสะกดคำ หรือเป็นแบบจำลองภาษาพื้นฐาน แบบจำลองนี้ต้องการข้อความฝึกฝนที่เพียงพอเพื่อประมาณจำนวนนับที่เชื่อถือได้ และต้องใช้วิธีการปรับเรียบเพื่อจัดการกับความเบาบางของลำดับที่ไม่เคยเห็น

ข้อจำกัดและข้อควรพิจารณา

  • จับได้เฉพาะบริบทระยะสั้น (คำ n−1 คำก่อนหน้า) และไม่สามารถสร้างแบบจำลองการพึ่งพาระยะไกลได้
  • ประสบปัญหาความเบาบางของข้อมูล: ลำดับคำส่วนใหญ่ไม่เคยเห็น ดังนั้นการปรับเรียบจึงเป็นสิ่งจำเป็น
  • ขนาดแบบจำลองและหน่วยความจำเพิ่มขึ้นอย่างรวดเร็วเมื่อ n เพิ่มขึ้น ในขณะที่เอ็นแกรมลำดับสูงขึ้นจะเบาบางมากขึ้นเรื่อยๆ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียบง่าย รวดเร็ว และตีความได้ — ความน่าจะเป็นมาจากจำนวนนับที่สังเกตได้โดยตรง
  • เป็นพื้นฐานที่แข็งแกร่งและโปร่งใสสำหรับการสร้างข้อความ การแก้ไขการสะกดคำ และการรู้จำเสียงพูด
  • มีต้นทุนการคำนวณต่ำเมื่อเทียบกับแบบจำลองภาษาโครงข่ายประสาทเทียม โดยไม่จำเป็นต้องใช้ฮาร์ดแวร์พิเศษ

การประยุกต์ใช้

  • การสร้างข้อความและการเติมข้อความอัตโนมัติจากการแจกแจงลำดับคำที่เรียนรู้
  • การแก้ไขการสะกดคำและไวยากรณ์โดยการให้คะแนนความน่าจะเป็นของลำดับผู้สมัคร
  • การรู้จำเสียงพูด ซึ่งแบบจำลองภาษาจะจัดอันดับสมมติฐานการถอดเสียงที่แข่งขันกัน
  • พื้นฐานน้ำหนักเบาสำหรับงานใดๆ ที่ได้รับประโยชน์จากการประมาณความน่าจะเป็นของลำดับ

วิธีการทำงาน

วิธีการทำงาน

1

คลังข้อมูลฝึกฝนจะถูกแบ่งเป็นโทเค็น และประโยคจะถูกเติมช่องว่างเพื่อให้สามารถสร้างแบบจำลองการเริ่มต้นและสิ้นสุดของลำดับได้อย่างชัดเจน ทุกหน้าต่างที่ทับซ้อนกันของโทเค็น n ตัวที่ต่อเนื่องกันจะกลายเป็นหนึ่งเอ็นแกรม ซึ่งเป็นหน่วยที่แบบจำลองจะนับและให้คะแนน

2

แบบจำลองจะนับความถี่ที่แต่ละเอ็นแกรมและคำนำหน้า (n−1) คำปรากฏในคลังข้อมูล การหารจำนวนนับของเอ็นแกรมด้วยจำนวนนับของคำนำหน้าจะให้ความน่าจะเป็นแบบมีเงื่อนไขของคำสุดท้ายเมื่อกำหนดให้มีคำ n−1 คำก่อนหน้า ซึ่งเป็นค่าประมาณหลักของแบบจำลอง

3

เนื่องจากลำดับคำที่เป็นไปได้ส่วนใหญ่ไม่เคยปรากฏในคลังข้อมูลจำกัดใดๆ จำนวนนับดิบจึงกำหนดความน่าจะเป็นเป็นศูนย์ให้กับเอ็นแกรมที่ไม่เคยเห็น (ปัญหาความเบาบาง) วิธีการปรับเรียบ เช่น Laplace add-one หรือ Kneser-Ney จะกระจายมวลความน่าจะเป็นใหม่เพื่อให้ลำดับที่ไม่เคยเห็นแต่เป็นไปได้ได้รับความน่าจะเป็นที่ไม่ใช่ศูนย์เล็กน้อย ขั้นตอนนี้มีความสำคัญอย่างยิ่ง — หากไม่มีขั้นตอนนี้ แบบจำลองจะไม่สามารถทำงานได้กับข้อความจริง

4

เมื่อกำหนดบริบทของคำ n−1 คำ แบบจำลองจะส่งคืนการแจกแจงความน่าจะเป็นของคำถัดไป ซึ่งสามารถเลือกคำที่น่าจะเป็นไปได้มากที่สุด หรือสามารถสร้างข้อความได้ กลไกเดียวกันนี้ยังให้คะแนนความน่าจะเป็นของประโยคที่สังเกตได้ ซึ่งเป็นสิ่งที่ขับเคลื่อนการแก้ไขการสะกดคำและการรู้จำเสียงพูด

ข้อผิดพลาดที่พบบ่อย

  • การข้ามการปรับเรียบทำให้เอ็นแกรมที่ไม่เคยเห็นมีความน่าจะเป็นเป็นศูนย์ ซึ่งทำให้แบบจำลองล้มเหลวเมื่อเจอข้อความจริงที่ไม่เคยเห็น
  • การฝึกฝนด้วยคลังข้อมูลที่เล็กเกินไป (ต่ำกว่าประมาณ 100 เอกสาร) ทำให้ได้จำนวนนับที่ไม่น่าเชื่อถือ
  • การเลือก n ที่ใหญ่เกินไปทำให้จำนวนนับเบาบางและแบบจำลองเปราะบาง การเลือก n ที่เล็กเกินไปทำให้สูญเสียบริบทที่เป็นประโยชน์
  • การไม่เติมช่องว่างขอบเขตประโยคทำให้จัดการการเริ่มต้นและสิ้นสุดของลำดับได้ไม่ดี

คำถามที่พบบ่อย

ตัว 'n' ใน n-gram หมายถึงอะไร?

หมายถึงจำนวนคำที่ต่อเนื่องกันที่พิจารณาร่วมกัน ไบแกรม (n=2) กำหนดคำถัดไปจากคำก่อนหน้าเพียงคำเดียว ไตรแกรม (n=3) จากสองคำก่อนหน้า ค่า n ที่ใหญ่ขึ้นจะจับบริบทได้มากขึ้น แต่ต้องการข้อมูลการฝึกฝนที่มากขึ้นและจะเบาบางลง

ทำไมการปรับเรียบจึงจำเป็น?

คลังข้อมูลจำกัดไม่สามารถมีลำดับคำที่เป็นไปได้ทั้งหมดได้ ดังนั้นเอ็นแกรมที่ถูกต้องหลายตัวจึงมีจำนวนนับเป็นศูนย์และจะได้รับความน่าจะเป็นเป็นศูนย์ วิธีการปรับเรียบ เช่น Laplace add-one หรือ Kneser-Ney จะกำหนดความน่าจะเป็นเล็กน้อยให้กับลำดับที่ไม่เคยเห็นใหม่ เพื่อให้แบบจำลองไม่ล้มเหลวเมื่อเจอข้อความใหม่

ฉันต้องการข้อมูลการฝึกฝนมากแค่ไหน?

แหล่งข้อมูลแนะนำอย่างน้อยประมาณ 100 เอกสารเป็นขั้นต่ำ ข้อความที่มากขึ้นจะให้จำนวนนับที่เชื่อถือได้มากขึ้น โดยเฉพาะอย่างยิ่งเอ็นแกรมลำดับสูงขึ้นต้องการข้อมูลที่มากขึ้นอย่างมากเพื่อหลีกเลี่ยงความเบาบาง

แบบจำลองเอ็นแกรมแตกต่างจากแบบจำลองภาษาโครงข่ายประสาทเทียมอย่างไร?

แบบจำลองเอ็นแกรมประมาณความน่าจะเป็นของคำถัดไปโดยตรงจากจำนวนนับในช่วงเวลาคงที่ของคำก่อนหน้า ทำให้เรียบง่าย รวดเร็ว และตีความได้ แบบจำลองโครงข่ายประสาทเทียมเรียนรู้การแสดงแบบกระจายและจับบริบทที่ยาวขึ้น โดยมีต้นทุนการคำนวณที่สูงขึ้น เอ็นแกรมยังคงเป็นพื้นฐานที่โปร่งใสและมีประโยชน์

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว