การปรับให้เป็นมาตรฐานของข้อความ — การทำให้ข้อความที่มีสัญญาณรบกวนเป็นมาตรฐาน
- ประเภท
- NLP preprocessing pipeline
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การปรับให้เป็นมาตรฐานของข้อความ (Text normalization) คือกระบวนการประมวลผลล่วงหน้าในงานประมวลผลภาษาธรรมชาติ (NLP) ที่แปลงข้อความที่มีสัญญาณรบกวน ข้อความย่อ หรือข้อความที่สะกดผิด — เช่น ข้อความ SMS โพสต์บนโซเชียลมีเดีย และผลลัพธ์จากการรู้จำอักขระด้วยแสง (OCR) — ให้เป็นรูปแบบที่สะอาดและเป็นมาตรฐาน ถือเป็นขั้นตอนที่จำเป็นสำหรับงาน NLP ที่ตามมาแทบทุกงาน เพื่อให้แน่ใจว่ารูปแบบพื้นผิวที่ไม่สอดคล้องกันจะไม่ทำให้การแบ่งคำ (tokenisation) การวิเคราะห์โครงสร้างประโยค (parsing) หรือการจำแนกประเภท (classification) เสื่อมประสิทธิภาพ วิธีการนี้ได้รับการศึกษาอย่างเป็นระบบโดย Baldwin และ Li (2015) และ Sproat และ Jaitly (2017)
แนวคิดเบื้องหลังวิธีการ
โมเดลที่ฝึกฝนด้วยข้อความข่าวที่สะอาดจะไม่รู้จักคำว่า 'gr8', 'u', หรือ 'tmrw' ในฐานะคำว่า 'great', 'you', หรือ 'tomorrow' ก่อนที่จะมีการวิเคราะห์เชิงลึกใดๆ ข้อความดิบที่มีสัญญาณรบกวนจะต้องถูกนำมาสู่รูปแบบพื้นผิวที่สอดคล้องกัน การปรับให้เป็นมาตรฐานของข้อความทำหน้าที่ดังกล่าว: ระบุประเภทของสัญญาณรบกวนที่มีอยู่ — คำย่อ การสะกดผิด คำสแลง อีโมจิ อักขระพิเศษ — และใช้กฎที่กำหนดเป้าหมายหรือโมเดลที่เรียนรู้เพื่อแปลงโทเค็นที่ไม่เป็นมาตรฐานแต่ละรายการให้เป็นรูปแบบมาตรฐาน (canonical equivalent) เพื่อให้เครื่องมือที่ตามมาทั้งหมดเห็นคำศัพท์ที่สม่ำเสมอและคาดการณ์ได้
ประวัติศาสตร์
การศึกษาอย่างเป็นระบบเกี่ยวกับการปรับให้เป็นมาตรฐานของข้อความสำหรับเนื้อหาที่ผู้ใช้สร้างขึ้น ได้รับแรงผลักดันจากการเพิ่มขึ้นของ Twitter และ SMS ในฐานะคลังข้อมูลสำหรับการวิจัยในช่วงปลายทศวรรษ 2000 Baldwin และ Li (2015) ได้ทำการวิเคราะห์เชิงประจักษ์ที่ละเอียดถี่ถ้วนที่สุดครั้งหนึ่งเกี่ยวกับผลกระทบของกลยุทธ์การปรับให้เป็นมาตรฐานต่อความแม่นยำของ NLP ที่ตามมาสำหรับข้อความ Twitter โดยได้สร้างเกณฑ์มาตรฐานที่งานวิจัยต่อมาได้ต่อยอด ในขณะเดียวกัน Sproat และ Jaitly (2017) ได้กำหนดกรอบการปรับให้เป็นมาตรฐานของข้อความในฐานะปัญหาการเรียนรู้แบบลำดับต่อลำดับ (sequence-to-sequence learning) และได้เผยแพร่ข้อมูลการแข่งขัน (challenge data) ซึ่งกระตุ้นให้เกิดการนำแนวทางแบบโครงข่ายประสาทเทียมมาใช้ งานก่อนหน้านี้ได้ปฏิบัติต่อการปรับให้เป็นมาตรฐานในฐานะงานแก้ไขการสะกดคำหรือการค้นหาในพจนานุกรม กรอบงานแบบโครงข่ายประสาทเทียมได้รวมเอาแนวทางเหล่านั้นเข้าด้วยกันและเปิดประตูสู่ไปป์ไลน์ที่เรียนรู้แบบครบวงจร (end-to-end learned pipelines)
ควรใช้เมื่อใด
ควรใช้การปรับให้เป็นมาตรฐานของข้อความเมื่อใดก็ตามที่ข้อความต้นทางมีโทเค็นที่ไม่เป็นมาตรฐานซึ่งไปป์ไลน์ NLP ที่ตามมาจะตีความผิด: ข้อมูลโซเชียลมีเดีย คลังข้อมูล SMS เอกสารประวัติศาสตร์ที่แปลงเป็นดิจิทัลด้วย OCR และบันทึกการแชทที่ไม่เป็นทางการเป็นกรณีทั่วไป ต้องมีข้อสมมติฐานสองประการ: ประเภทของสัญญาณรบกวนต้องสามารถระบุได้ล่วงหน้า และต้องมีพจนานุกรมภาษาเป้าหมายหรือโมเดลภาษาสำหรับรูปแบบมาตรฐานที่ต้องการ หากข้อความสะอาดและเป็นมาตรฐานอยู่แล้ว การปรับให้เป็นมาตรฐานจะไม่ให้ประโยชน์ใดๆ และอาจทำให้เกิดข้อผิดพลาดโดยการแก้ไขตัวเลือกทางสไตล์ที่ตั้งใจไว้มากเกินไป
ข้อจำกัดและข้อควรพิจารณา
- ต้องมีความรู้เบื้องต้นเกี่ยวกับประเภทของสัญญาณรบกวน: ชุดกฎหรือโมเดลที่ออกแบบมาสำหรับคำย่อ SMS อาจทำงานได้ไม่ดีกับข้อผิดพลาด OCR หรือคำสแลงเฉพาะโดเมน
- ต้องมีพจนานุกรมภาษาเป้าหมายหรือโมเดลภาษาสำหรับรูปแบบมาตรฐานที่ต้องการ ภาษาที่มีทรัพยากรจำกัดอาจขาดทรัพยากรเหล่านี้
- การปรับให้เป็นมาตรฐานมากเกินไปอาจทำลายความหลากหลายที่มีความหมาย — รูปแบบที่ไม่เป็นทางการที่ตั้งใจไว้ การสลับภาษา (code-switching) หรือคำนามทั่วไปอาจถูกเขียนใหม่โดยไม่ถูกต้อง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ยกระดับคุณภาพของ NLP ที่ตามมาในทุกด้าน — การแบ่งคำ การติดป้ายกำกับประเภทของคำ (part-of-speech tagging) การรู้จำชื่อเฉพาะ (named-entity recognition) และการวิเคราะห์ความรู้สึก (sentiment analysis) ล้วนได้รับประโยชน์จากข้อมูลนำเข้าที่สะอาดและสอดคล้องกัน
- การนำไปใช้ที่ยืดหยุ่น: ตารางการค้นหาแบบกฎอย่างง่ายทำงานได้ดีสำหรับสัญญาณรบกวนที่คาดการณ์ได้ ในขณะที่โมเดลแบบโครงข่ายประสาทเทียมแบบลำดับต่อลำดับสามารถจัดการกับรูปแบบใหม่หรือกำกวมได้
- ไม่จำเป็นต้องมีข้อสมมติฐานการกระจายข้อมูลพิเศษใดๆ เกี่ยวกับข้อมูล ทำให้สามารถนำไปใช้กับคลังข้อมูลขนาดเล็กมากได้ (อย่างน้อยประมาณ 10 เอกสาร)
การประยุกต์ใช้
- การประมวลผลล่วงหน้าคลังข้อมูลโซเชียลมีเดีย (Twitter, Reddit, Instagram) ก่อนการวิเคราะห์ความรู้สึก การสร้างแบบจำลองหัวข้อ (topic modelling) หรือการตรวจจับเหตุการณ์ (event detection)
- การทำความสะอาดผลลัพธ์ OCR จากเอกสารประวัติศาสตร์ที่แปลงเป็นดิจิทัลก่อนการสกัดข้อมูล (information extraction)
- การทำให้ข้อความ SMS และบันทึกการแชทที่ไม่เป็นทางการเป็นมาตรฐานสำหรับการวิจัยทางคลินิกหรือสังคมวิทยา
- การแปลงรีวิวที่ผู้ใช้สร้างขึ้นอย่างไม่เป็นทางการให้เป็นข้อความที่สะอาดก่อนที่จะป้อนให้กับตัวจำแนกประเภท (classifier) หรือตัวสรุปความ (summariser)
วิธีการทำงาน
วิธีการทำงาน
ลักษณะของสัญญาณรบกวนในคลังข้อมูล (corpus) จะถูกระบุลักษณะก่อนที่จะพยายามแก้ไข ประเภทของสัญญาณรบกวนที่พบบ่อย ได้แก่ คำย่อที่ไม่เป็นทางการ (เช่น 'lol', 'brb') การสะกดผิดตามเสียงหรือตามการพิมพ์ คำย่อ อีโมจิ แฮชแท็ก URL และสิ่งตกค้างจาก OCR การระบุว่ามีสัญญาณรบกวนประเภทใดอยู่ จะเป็นตัวกำหนดว่ากฎหรือโมเดลการปรับให้เป็นมาตรฐานใดที่จะถูกเปิดใช้งานในขั้นตอนถัดไป
ข้อความจะถูกแบ่งออกเป็นโทเค็นแต่ละรายการ — คำ เครื่องหมายวรรคตอน อีโมจิ หรือหน่วยอื่นๆ — โดยใช้ตัวแบ่งคำ (tokeniser) ที่เหมาะสมกับช่องทางต้นทาง ตัวอย่างเช่น ตัวแบ่งคำสำหรับทวีตจะรักษาแฮชแท็กและการกล่าวถึง (mentions) ให้เป็นหน่วยเดียว แทนที่จะแยกตามอักขระ '@' หรือ '#' การแบ่งคำที่ถูกต้องเป็นสิ่งสำคัญ เนื่องจากขั้นตอนการปรับให้เป็นมาตรฐานในภายหลังจะดำเนินการกับโทเค็นทีละรายการ
โทเค็นที่ไม่เป็นมาตรฐานแต่ละรายการจะถูกจับคู่กับรูปแบบมาตรฐาน (canonical form) วิธีการที่ใช้กฎ (Rule-based approaches) ใช้ตารางการค้นหาที่สร้างขึ้นด้วยมือหรือรูปแบบการแสดงออกปกติ (regular-expression patterns) วิธีการเชิงสถิติและแบบโครงข่ายประสาทเทียม (รวมถึงโมเดลแบบลำดับต่อลำดับ เช่น T5 หรือ BART) เรียนรู้การจับคู่จากข้อมูลการฝึกอบรม การเลือกขึ้นอยู่กับประเภทของสัญญาณรบกวน ทรัพยากรที่มีอยู่ และว่ามีคู่การปรับให้เป็นมาตรฐานที่ติดป้ายกำกับ (labelled normalisation pairs) สำหรับโดเมนเป้าหมายหรือไม่
ผลลัพธ์ที่ปรับให้เป็นมาตรฐานแล้วจะถูกเปรียบเทียบกับพจนานุกรมภาษาเป้าหมาย หรือประเมินผลในงานที่ตามมาเพื่อวัดผลกระทบของการปรับให้เป็นมาตรฐาน หากประเภทโทเค็นบางประเภทถูกแก้ไขผิดพลาดอย่างเป็นระบบ กฎหรือน้ำหนักของโมเดลจะถูกปรับ วงจรการป้อนกลับนี้จะป้องกันการปรับให้เป็นมาตรฐานมากเกินไป (over-normalisation) — ซึ่งเป็นการแปลงคำสแลงหรือชื่อเฉพาะให้เป็นรูปแบบมาตรฐานที่ไม่ถูกต้อง
ข้อผิดพลาดที่พบบ่อย
- การข้ามการระบุประเภทสัญญาณรบกวนและการใช้ตัวปรับให้เป็นมาตรฐานทั่วไป: สัญญาณรบกวนแต่ละประเภทต้องการการจัดการที่แตกต่างกัน ดังนั้นชุดกฎเดียวจึงไม่สามารถจัดการทุกกรณีได้อย่างถูกต้อง
- การปรับให้เป็นมาตรฐานของชื่อเฉพาะ เช่น ชื่อแบรนด์ แฮชแท็ก หรือชื่อผู้ใช้: โดยทั่วไปแล้ว สิ่งเหล่านี้ควรจะถูกรักษาไว้หรือจัดการแยกต่างหาก ไม่ใช่ถูกบังคับให้เป็นรูปแบบพจนานุกรมมาตรฐาน
- การปฏิบัติต่อการปรับให้เป็นมาตรฐานว่าเป็นอิสระจากภาษา: การจับคู่จากรูปแบบที่ไม่ใช่มาตรฐานไปยังรูปแบบมาตรฐานนั้นขึ้นอยู่กับภาษา และตัวปรับให้เป็นมาตรฐานที่สร้างขึ้นสำหรับภาษาหนึ่งจะทำให้ข้อความในอีกภาษาหนึ่งเสียหาย
- การประเมินผลเฉพาะความแม่นยำระดับโทเค็นโดยไม่ตรวจสอบประสิทธิภาพของงานที่ตามมา: ตัวปรับให้เป็นมาตรฐานอาจดูดีเมื่อพิจารณาแยกต่างหาก แต่จริงๆ แล้วอาจทำให้ตัวชี้วัดที่สำคัญแย่ลง
คำถามที่พบบ่อย
การปรับให้เป็นมาตรฐานของข้อความเหมือนกับการตรวจการสะกดคำหรือไม่?
การตรวจการสะกดคำเป็นส่วนย่อย การปรับให้เป็นมาตรฐานครอบคลุมรูปแบบที่ไม่เป็นมาตรฐานที่กว้างกว่า — คำย่อ คำสแลง อีโมจิ คำย่อ และสิ่งตกค้างจาก OCR — ที่ตัวตรวจการสะกดคำทั่วไปไม่ได้ออกแบบมาเพื่อจัดการ ตัวตรวจการสะกดคำจะแจ้งเตือนว่า 'recieve' ผิด แต่ตัวปรับให้เป็นมาตรฐานจะแปลง 'u' เป็น 'you' และ 'gr8' เป็น 'great' ด้วย
ฉันควรปรับให้เป็นมาตรฐานก่อนหรือหลังการแบ่งคำ?
ทั้งสองขั้นตอนมีปฏิสัมพันธ์กัน: ตัวแบ่งคำที่เหมาะสมกับช่องทางควรทำงานก่อน เพื่อให้โทเค็นหลายอักขระ เช่น อีโมจิ แฮชแท็ก หรือ URL ถูกรักษาไว้เป็นหน่วยก่อนที่การปรับให้เป็นมาตรฐานจะจับคู่กับมัน ไปป์ไลน์บางอย่างจะสลับขั้นตอนกัน แต่ธรรมเนียมปฏิบัติทั่วไปคือการแบ่งคำก่อนด้วยตัวแบ่งคำที่เหมาะสมกับช่องทางต้นทาง จากนั้นจึงปรับให้เป็นมาตรฐานทีละโทเค็น
ฉันจะเลือกระหว่างการปรับให้เป็นมาตรฐานแบบใช้กฎและแบบโครงข่ายประสาทเทียมได้อย่างไร?
วิธีการแบบใช้กฎนั้นรวดเร็ว โปร่งใส และมีประสิทธิภาพเมื่อสัญญาณรบกวนสามารถคาดการณ์ได้และสามารถสร้างตารางการค้นหาได้ โมเดลแบบลำดับต่อลำดับของโครงข่ายประสาทเทียมสามารถสรุปผลไปยังรูปแบบที่ไม่เคยเห็นได้ดีกว่า แต่ต้องใช้คู่การฝึกอบรมที่ติดป้ายกำกับและใช้การคำนวณมากขึ้น สำหรับงานประมวลผลล่วงหน้าโซเชียลมีเดียส่วนใหญ่ที่มีงบประมาณการติดป้ายกำกับจำกัด วิธีการแบบผสมผสาน — กฎสำหรับรูปแบบที่พบบ่อย โมเดลโครงข่ายประสาทเทียมสำหรับส่วนหางยาว (long tail) — ทำงานได้ดีที่สุด
การปรับให้เป็นมาตรฐานส่งผลเสียต่อการรู้จำชื่อเฉพาะหรือไม่?
อาจส่งผลเสียได้ หากชื่อเฉพาะถูกเขียนใหม่โดยไม่ถูกต้อง ตัวปรับให้เป็นมาตรฐานที่แปลงแฮชแท็ก '#AppleEvent' เป็น 'apple event' จะสูญเสียข้อมูลการใช้ตัวพิมพ์ใหญ่และขอบเขตที่โมเดล NER อาศัยอยู่ แนวทางปฏิบัติที่ดีที่สุดคือการตรวจจับและยกเว้นชื่อเฉพาะ (หรือรัน NER ก่อนและปกป้องช่วงเหล่านั้น) ก่อนที่จะใช้กฎการปรับให้เป็นมาตรฐานทั่วไป
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วSproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว