แบบจำลองภาษาเอ็นแกรม
- ประเภท
- Statistical language model
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบบจำลองภาษาเอ็นแกรม (n-gram language model) คือแบบจำลองทางสถิติที่ใช้ทำนายความน่าจะเป็นของคำถัดไปโดยพิจารณาจากคำ n−1 คำก่อนหน้าเท่านั้น ดังที่ Jurafsky และ Martin (Speech and Language Processing) ได้อธิบายไว้อย่างละเอียด แบบจำลองนี้เป็นโครงสร้างพื้นฐานสำหรับการสร้างข้อความ การแก้ไขการสะกดคำ และการรู้จำเสียงพูด
แนวคิดเบื้องหลังวิธีการ
ภาษาเป็นลำดับ: คำที่คุณเพิ่งเห็นมีอิทธิพลอย่างมากต่อสิ่งที่ตามมา แทนที่จะพิจารณาทั้งประโยคในคราวเดียว แบบจำลองเอ็นแกรมจะใช้สมมติฐานที่เรียบง่ายว่ามีเพียงไม่กี่คำสุดท้ายเท่านั้นที่มีความสำคัญต่อการทำนายคำถัดไป แบบจำลองจะนับความถี่ที่ลำดับคำปรากฏในคลังข้อมูลฝึกฝน และเปลี่ยนจำนวนนับเหล่านั้นให้เป็นความน่าจะเป็น ดังนั้น วลีเช่น 'thank you very' จึงทำให้ 'much' เป็นคำที่น่าจะตามมา
ประวัติศาสตร์
แนวทางเอ็นแกรมเป็นรากฐานที่สำคัญมายาวนานของการประมวลผลภาษาธรรมชาติเชิงสถิติ ซึ่งถือเป็นพื้นฐานใน Speech and Language Processing ของ Jurafsky และ Martin ข้อกังวลที่สำคัญในทางปฏิบัติคือการปรับเรียบมาโดยตลอด: การศึกษาเชิงประจักษ์ของ Chen และ Goodman (1999) ได้เปรียบเทียบเทคนิคการปรับเรียบและกำหนดวิธีการต่างๆ เช่น Kneser-Ney ให้เป็นทางเลือกที่แข็งแกร่งสำหรับการจัดการกับลำดับที่ไม่เคยเห็น แบบจำลองเอ็นแกรมเคยเป็นมาตรฐานมานานก่อนที่แบบจำลองภาษาโครงข่ายประสาทเทียมจะเข้ามามีบทบาท
ควรใช้เมื่อใด
ใช้แบบจำลองเอ็นแกรมเมื่อคุณมีคลังข้อความขนาดใหญ่พอสมควร (แหล่งข้อมูลแนะนำอย่างน้อยประมาณ 100 เอกสาร) และงานที่กำหนดให้เป็นการทำนายหรืออธิบายลำดับคำ — การเติมข้อความอัตโนมัติ การแก้ไขการสะกดคำ หรือเป็นแบบจำลองภาษาพื้นฐาน แบบจำลองนี้ต้องการข้อความฝึกฝนที่เพียงพอเพื่อประมาณจำนวนนับที่เชื่อถือได้ และต้องใช้วิธีการปรับเรียบเพื่อจัดการกับความเบาบางของลำดับที่ไม่เคยเห็น
ข้อจำกัดและข้อควรพิจารณา
- จับได้เฉพาะบริบทระยะสั้น (คำ n−1 คำก่อนหน้า) และไม่สามารถสร้างแบบจำลองการพึ่งพาระยะไกลได้
- ประสบปัญหาความเบาบางของข้อมูล: ลำดับคำส่วนใหญ่ไม่เคยเห็น ดังนั้นการปรับเรียบจึงเป็นสิ่งจำเป็น
- ขนาดแบบจำลองและหน่วยความจำเพิ่มขึ้นอย่างรวดเร็วเมื่อ n เพิ่มขึ้น ในขณะที่เอ็นแกรมลำดับสูงขึ้นจะเบาบางมากขึ้นเรื่อยๆ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียบง่าย รวดเร็ว และตีความได้ — ความน่าจะเป็นมาจากจำนวนนับที่สังเกตได้โดยตรง
- เป็นพื้นฐานที่แข็งแกร่งและโปร่งใสสำหรับการสร้างข้อความ การแก้ไขการสะกดคำ และการรู้จำเสียงพูด
- มีต้นทุนการคำนวณต่ำเมื่อเทียบกับแบบจำลองภาษาโครงข่ายประสาทเทียม โดยไม่จำเป็นต้องใช้ฮาร์ดแวร์พิเศษ
การประยุกต์ใช้
- การสร้างข้อความและการเติมข้อความอัตโนมัติจากการแจกแจงลำดับคำที่เรียนรู้
- การแก้ไขการสะกดคำและไวยากรณ์โดยการให้คะแนนความน่าจะเป็นของลำดับผู้สมัคร
- การรู้จำเสียงพูด ซึ่งแบบจำลองภาษาจะจัดอันดับสมมติฐานการถอดเสียงที่แข่งขันกัน
- พื้นฐานน้ำหนักเบาสำหรับงานใดๆ ที่ได้รับประโยชน์จากการประมาณความน่าจะเป็นของลำดับ
วิธีการทำงาน
วิธีการทำงาน
คลังข้อมูลฝึกฝนจะถูกแบ่งเป็นโทเค็น และประโยคจะถูกเติมช่องว่างเพื่อให้สามารถสร้างแบบจำลองการเริ่มต้นและสิ้นสุดของลำดับได้อย่างชัดเจน ทุกหน้าต่างที่ทับซ้อนกันของโทเค็น n ตัวที่ต่อเนื่องกันจะกลายเป็นหนึ่งเอ็นแกรม ซึ่งเป็นหน่วยที่แบบจำลองจะนับและให้คะแนน
แบบจำลองจะนับความถี่ที่แต่ละเอ็นแกรมและคำนำหน้า (n−1) คำปรากฏในคลังข้อมูล การหารจำนวนนับของเอ็นแกรมด้วยจำนวนนับของคำนำหน้าจะให้ความน่าจะเป็นแบบมีเงื่อนไขของคำสุดท้ายเมื่อกำหนดให้มีคำ n−1 คำก่อนหน้า ซึ่งเป็นค่าประมาณหลักของแบบจำลอง
เนื่องจากลำดับคำที่เป็นไปได้ส่วนใหญ่ไม่เคยปรากฏในคลังข้อมูลจำกัดใดๆ จำนวนนับดิบจึงกำหนดความน่าจะเป็นเป็นศูนย์ให้กับเอ็นแกรมที่ไม่เคยเห็น (ปัญหาความเบาบาง) วิธีการปรับเรียบ เช่น Laplace add-one หรือ Kneser-Ney จะกระจายมวลความน่าจะเป็นใหม่เพื่อให้ลำดับที่ไม่เคยเห็นแต่เป็นไปได้ได้รับความน่าจะเป็นที่ไม่ใช่ศูนย์เล็กน้อย ขั้นตอนนี้มีความสำคัญอย่างยิ่ง — หากไม่มีขั้นตอนนี้ แบบจำลองจะไม่สามารถทำงานได้กับข้อความจริง
เมื่อกำหนดบริบทของคำ n−1 คำ แบบจำลองจะส่งคืนการแจกแจงความน่าจะเป็นของคำถัดไป ซึ่งสามารถเลือกคำที่น่าจะเป็นไปได้มากที่สุด หรือสามารถสร้างข้อความได้ กลไกเดียวกันนี้ยังให้คะแนนความน่าจะเป็นของประโยคที่สังเกตได้ ซึ่งเป็นสิ่งที่ขับเคลื่อนการแก้ไขการสะกดคำและการรู้จำเสียงพูด
ข้อผิดพลาดที่พบบ่อย
- การข้ามการปรับเรียบทำให้เอ็นแกรมที่ไม่เคยเห็นมีความน่าจะเป็นเป็นศูนย์ ซึ่งทำให้แบบจำลองล้มเหลวเมื่อเจอข้อความจริงที่ไม่เคยเห็น
- การฝึกฝนด้วยคลังข้อมูลที่เล็กเกินไป (ต่ำกว่าประมาณ 100 เอกสาร) ทำให้ได้จำนวนนับที่ไม่น่าเชื่อถือ
- การเลือก n ที่ใหญ่เกินไปทำให้จำนวนนับเบาบางและแบบจำลองเปราะบาง การเลือก n ที่เล็กเกินไปทำให้สูญเสียบริบทที่เป็นประโยชน์
- การไม่เติมช่องว่างขอบเขตประโยคทำให้จัดการการเริ่มต้นและสิ้นสุดของลำดับได้ไม่ดี
คำถามที่พบบ่อย
ตัว 'n' ใน n-gram หมายถึงอะไร?
หมายถึงจำนวนคำที่ต่อเนื่องกันที่พิจารณาร่วมกัน ไบแกรม (n=2) กำหนดคำถัดไปจากคำก่อนหน้าเพียงคำเดียว ไตรแกรม (n=3) จากสองคำก่อนหน้า ค่า n ที่ใหญ่ขึ้นจะจับบริบทได้มากขึ้น แต่ต้องการข้อมูลการฝึกฝนที่มากขึ้นและจะเบาบางลง
ทำไมการปรับเรียบจึงจำเป็น?
คลังข้อมูลจำกัดไม่สามารถมีลำดับคำที่เป็นไปได้ทั้งหมดได้ ดังนั้นเอ็นแกรมที่ถูกต้องหลายตัวจึงมีจำนวนนับเป็นศูนย์และจะได้รับความน่าจะเป็นเป็นศูนย์ วิธีการปรับเรียบ เช่น Laplace add-one หรือ Kneser-Ney จะกำหนดความน่าจะเป็นเล็กน้อยให้กับลำดับที่ไม่เคยเห็นใหม่ เพื่อให้แบบจำลองไม่ล้มเหลวเมื่อเจอข้อความใหม่
ฉันต้องการข้อมูลการฝึกฝนมากแค่ไหน?
แหล่งข้อมูลแนะนำอย่างน้อยประมาณ 100 เอกสารเป็นขั้นต่ำ ข้อความที่มากขึ้นจะให้จำนวนนับที่เชื่อถือได้มากขึ้น โดยเฉพาะอย่างยิ่งเอ็นแกรมลำดับสูงขึ้นต้องการข้อมูลที่มากขึ้นอย่างมากเพื่อหลีกเลี่ยงความเบาบาง
แบบจำลองเอ็นแกรมแตกต่างจากแบบจำลองภาษาโครงข่ายประสาทเทียมอย่างไร?
แบบจำลองเอ็นแกรมประมาณความน่าจะเป็นของคำถัดไปโดยตรงจากจำนวนนับในช่วงเวลาคงที่ของคำก่อนหน้า ทำให้เรียบง่าย รวดเร็ว และตีความได้ แบบจำลองโครงข่ายประสาทเทียมเรียนรู้การแสดงแบบกระจายและจับบริบทที่ยาวขึ้น โดยมีต้นทุนการคำนวณที่สูงขึ้น เอ็นแกรมยังคงเป็นพื้นฐานที่โปร่งใสและมีประโยชน์
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วChen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว