การถดถอยจากข้อความ — การทำนายตัวเลขจากข้อความ
- ประเภท
- Supervised regression on text features
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การถดถอยจากข้อความ (Text regression) เป็นการทำนายตัวแปรตามที่เป็นค่าต่อเนื่องโดยใช้คุณลักษณะที่สกัดจากข้อความ เช่น ค่า TF-IDF, การฝังคำ (embeddings) หรือ n-grams เป็นตัวแปรอิสระ โดยต่อยอดจากแนวคิด text-as-data ที่ Gentzkow, Kelly และ Taddy (2019) ได้รวบรวมไว้ วิธีนี้ช่วยให้สามารถประมาณค่าผลลัพธ์ที่เป็นตัวเลข เช่น ราคา, คะแนนความพึงพอใจ หรือคะแนนความรู้สึกได้โดยตรงจากเอกสาร และมีการใช้งานอย่างแพร่หลายในการวิจัยทางสังคมศาสตร์ เศรษฐศาสตร์ และการเงิน
แนวคิดเบื้องหลังวิธีการ
โดยปกติแล้ว โมเดลการถดถอยต้องการตัวทำนายที่เป็นตัวเลข แต่ข้อมูลดิบที่ใช้คือข้อความ แนวคิดคือการแปลงเอกสารแต่ละฉบับให้เป็นเวกเตอร์ของตัวเลขที่จับใจความสำคัญของถ้อยคำ จากนั้นจึงทำการถดถอยของตัวแปรตามที่เป็นตัวเลขกับคุณลักษณะเหล่านั้น แทนที่จะต้องกำหนดความหมายของเอกสารด้วยตนเอง วิธีนี้ช่วยให้คำศัพท์เอง — ที่ถูกถ่วงน้ำหนักตามความมีสาระสำคัญ — เป็นตัวขับเคลื่อนการทำนายปริมาณที่เป็นค่าต่อเนื่อง
ประวัติศาสตร์
การถดถอยจากข้อความอยู่ในขบวนการ text-as-data ที่กว้างขึ้น ซึ่ง Gentzkow, Kelly และ Taddy (2019) ได้สำรวจไว้ โดยได้วางกรอบว่าข้อความที่ไม่มีโครงสร้างสามารถใช้เป็นข้อมูลป้อนเข้าสำหรับโมเดลเศรษฐมิติและสถิติได้อย่างไร Taddy (2013) ได้พัฒนาการใช้ข้อความเพื่อการทำนายโดยการนำเสนอ multinomial inverse regression เพื่อกู้คืนคะแนนความรู้สึกและปริมาณอื่นๆ จากการนับคำ โดยแสดงให้เห็นว่าผลลัพธ์ที่เป็นตัวเลขสามารถอ่านได้จากคุณลักษณะของข้อความ
ควรใช้เมื่อใด
ใช้การถดถอยจากข้อความเมื่อคุณมีตัวทำนายที่เป็นข้อความและตัวแปรตามที่เป็นค่าตัวเลขต่อเนื่องที่คุณต้องการทำนายจากข้อความนั้น โดยมีเอกสารอย่างน้อยประมาณห้าสิบฉบับเพื่อใช้ในการเรียนรู้ ข้อความจะต้องถูกแปลงเป็นเวกเตอร์ก่อน และการลดมิติก็มักจะเป็นประโยชน์เนื่องจากปริภูมิคุณลักษณะของข้อความนั้นกว้างมาก วิธีนี้ไม่ได้สมมติว่าข้อมูลป้อนเข้ามีการแจกแจงปกติ หากมีเอกสารน้อยกว่ามาก หรือไม่มีตัวแปรตามที่เป็นตัวเลขให้ทำการถดถอย วิธีนี้ก็ไม่เหมาะสม
ข้อจำกัดและข้อควรพิจารณา
- ต้องการตัวอย่างข้อมูลที่เหมาะสม (ประมาณห้าสิบเอกสารขึ้นไป) เพื่อประมาณค่าสัมประสิทธิ์ที่เสถียร
- ข้อความต้องถูกแปลงเป็นเวกเตอร์ก่อน และมิติที่สูงมากมักต้องการการลดมิติ
- คุณภาพการทำนายขึ้นอยู่กับว่าคุณลักษณะข้อความที่เลือกสามารถบ่งชี้ถึงตัวแปรตามที่เป็นตัวเลขได้ดีเพียงใด
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ช่วยให้สามารถทำนายผลลัพธ์ที่เป็นค่าต่อเนื่องได้โดยตรงจากข้อความ โดยไม่ต้องมีการกำหนดเนื้อหาเอกสารด้วยตนเอง
- ทำงานได้กับคุณลักษณะหลายประเภท — TF-IDF, การฝังคำ (embeddings) หรือ n-grams — ดังนั้นการแทนค่าสามารถปรับให้เข้ากับคลังข้อความได้
- ไม่จำเป็นต้องใช้ข้อมูลป้อนเข้าที่มีการแจกแจงปกติ เหมาะสมกับคุณลักษณะที่เบาบางและมีมิติสูงที่เกิดจากข้อความ
การประยุกต์ใช้
- การประมาณค่าคะแนนหรือเรตติ้งที่เป็นตัวเลขจากข้อความรีวิวและข้อเสนอแนะ
- การทำนายปริมาณทางการเงินหรือตลาดจากข่าวสาร รายงานทางการเงิน และการเปิดเผยข้อมูล
- การกู้คืนคะแนนความรู้สึกหรือทัศนคติที่เป็นค่าต่อเนื่องจากข้อความบนโซเชียลมีเดียในการวิจัยทางสังคมศาสตร์
- การเชื่อมโยงเนื้อหาที่เขียนกับผลลัพธ์ที่วัดได้ในการศึกษาทางเศรษฐศาสตร์และนโยบาย
วิธีการทำงาน
วิธีการทำงาน
เอกสารแต่ละฉบับจะถูกแปลงเป็นคุณลักษณะเชิงตัวเลข เพื่อให้ข้อความกลายเป็นข้อมูลป้อนเข้าที่พร้อมสำหรับการถดถอย ขั้นตอนการแปลงเป็นเวกเตอร์นี้จะสร้างค่า TF-IDF, การฝังคำหรือเอกสาร (word or document embeddings) หรือการนับ n-gram ซึ่งเป็นการแปลงถ้อยคำที่ไม่มีโครงสร้างให้กลายเป็นตัวแปรอิสระที่โมเดลการถดถอยจะอ่าน
เนื่องจากเวกเตอร์ข้อความมักมีมิติสูงมาก การลดมิติ (dimensionality reduction) จึงมักถูกนำมาใช้เพื่อบีบอัดปริภูมิคุณลักษณะก่อนทำการปรับโมเดล การตัดคุณลักษณะที่ซ้ำซ้อนหรือเบาบางออกไปช่วยให้โมเดลมีความเสถียรและช่วยให้สามารถสรุปผลได้ดีขึ้น แทนที่จะจดจำถ้อยคำที่พบได้ยาก
โมเดลการถดถอยจะถูกฝึกเพื่อจับคู่คุณลักษณะข้อความกับตัวแปรตามที่เป็นค่าต่อเนื่อง ตัวทำนายเชิงเส้นแบบปรับค่า (regularised linear regressor) เป็นทางเลือกที่เหมาะสมสำหรับเมทริกซ์คุณลักษณะที่กว้างและเบาบางซึ่งเกิดจากข้อความ โดยเรียนรู้สัมประสิทธิ์ที่เชื่อมโยงถ้อยคำกับผลลัพธ์ที่เป็นตัวเลข
โมเดลที่ปรับค่าแล้วจะถูกประเมินผลบนข้อมูลที่แยกไว้ด้วยเมทริกซ์การถดถอย และจะมีการตรวจสอบข้อผิดพลาดที่ใหญ่ที่สุดก่อนที่จะเชื่อถือโมเดล วิธีนี้ช่วยป้องกันโมเดลที่ปรับเข้ากับข้อความฝึกได้ดี แต่ไม่สามารถทำนายตัวแปรตามบนเอกสารใหม่ได้
ข้อผิดพลาดที่พบบ่อย
- การข้ามขั้นตอนการลดมิติบนเมทริกซ์คุณลักษณะที่กว้างมาก อาจนำไปสู่การปรับโมเดลให้เข้ากับถ้อยคำที่พบได้ยากมากเกินไป (overfitting)
- การปรับโมเดลบนเอกสารจำนวนน้อยเกินไป จะทำให้ได้สัมประสิทธิ์ที่ไม่เสถียรซึ่งไม่สามารถสรุปผลได้
- การนำตัวแปลงเวกเตอร์หรือโมเดลที่สร้างขึ้นจากคลังข้อความหรือโดเมนหนึ่งไปใช้กับอีกคลังข้อความหรือโดเมนหนึ่ง จะทำให้การทำนายแย่ลง ควรฝึกโมเดลใหม่บนข้อความเป้าหมาย
- การประเมินโมเดลจากความพอดีกับข้อมูลฝึกเพียงอย่างเดียว — ควรประเมินบนข้อมูลที่แยกไว้เสมอ และตรวจสอบข้อผิดพลาดที่ใหญ่ที่สุด
คำถามที่พบบ่อย
การถดถอยจากข้อความทำนายเป้าหมายประเภทใด?
ตัวแปรตัวเลขที่เป็นค่าต่อเนื่อง — ตัวอย่างเช่น ราคา, คะแนนความพึงพอใจ หรือคะแนนความรู้สึก หากเป้าหมายเป็นหมวดหมู่แทนที่จะเป็นตัวเลข การจำแนกประเภทข้อความ (text classification) จะเป็นวิธีที่เหมาะสมแทน
ควรใช้คุณลักษณะข้อความใดเป็นตัวทำนาย?
ค่า TF-IDF, การฝังคำหรือเอกสาร (word or document embeddings) และการนับ n-gram ล้วนเป็นตัวเลือกมาตรฐาน การแทนค่าที่ดีที่สุดขึ้นอยู่กับคลังข้อความและสัญญาณที่คุณคาดว่าถ้อยคำจะสื่อถึงตัวแปรตาม
ต้องใช้ข้อมูลเท่าใด?
วิธีนี้คาดหวังข้อมูลประมาณห้าสิบเอกสารขึ้นไป เพื่อให้การถดถอยสามารถประมาณค่าสัมประสิทธิ์ที่เสถียรได้ เนื่องจากคุณลักษณะข้อความมีมิติสูง การลดมิติก็มักเป็นที่แนะนำแม้ว่ากลุ่มตัวอย่างจะเพียงพอแล้วก็ตาม
เหตุใดจึงแนะนำให้ลดมิติ?
การแปลงข้อความเป็นเวกเตอร์จะสร้างเมทริกซ์คุณลักษณะที่กว้างและเบาบาง การลดมิติจะบีบอัดคุณลักษณะที่ซ้ำซ้อน ทำให้การปรับโมเดลเสถียรขึ้น และช่วยให้โมเดลสามารถสรุปผลได้ แทนที่จะจดจำถ้อยคำที่พบได้ยาก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วTaddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว