Skip to content
กลับไปยังผลการค้นหา

การถดถอยจากข้อความ — การทำนายตัวเลขจากข้อความ

ประเภท
Supervised regression on text features

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การถดถอยจากข้อความ (Text regression) เป็นการทำนายตัวแปรตามที่เป็นค่าต่อเนื่องโดยใช้คุณลักษณะที่สกัดจากข้อความ เช่น ค่า TF-IDF, การฝังคำ (embeddings) หรือ n-grams เป็นตัวแปรอิสระ โดยต่อยอดจากแนวคิด text-as-data ที่ Gentzkow, Kelly และ Taddy (2019) ได้รวบรวมไว้ วิธีนี้ช่วยให้สามารถประมาณค่าผลลัพธ์ที่เป็นตัวเลข เช่น ราคา, คะแนนความพึงพอใจ หรือคะแนนความรู้สึกได้โดยตรงจากเอกสาร และมีการใช้งานอย่างแพร่หลายในการวิจัยทางสังคมศาสตร์ เศรษฐศาสตร์ และการเงิน

แนวคิดเบื้องหลังวิธีการ

โดยปกติแล้ว โมเดลการถดถอยต้องการตัวทำนายที่เป็นตัวเลข แต่ข้อมูลดิบที่ใช้คือข้อความ แนวคิดคือการแปลงเอกสารแต่ละฉบับให้เป็นเวกเตอร์ของตัวเลขที่จับใจความสำคัญของถ้อยคำ จากนั้นจึงทำการถดถอยของตัวแปรตามที่เป็นตัวเลขกับคุณลักษณะเหล่านั้น แทนที่จะต้องกำหนดความหมายของเอกสารด้วยตนเอง วิธีนี้ช่วยให้คำศัพท์เอง — ที่ถูกถ่วงน้ำหนักตามความมีสาระสำคัญ — เป็นตัวขับเคลื่อนการทำนายปริมาณที่เป็นค่าต่อเนื่อง

ประวัติศาสตร์

การถดถอยจากข้อความอยู่ในขบวนการ text-as-data ที่กว้างขึ้น ซึ่ง Gentzkow, Kelly และ Taddy (2019) ได้สำรวจไว้ โดยได้วางกรอบว่าข้อความที่ไม่มีโครงสร้างสามารถใช้เป็นข้อมูลป้อนเข้าสำหรับโมเดลเศรษฐมิติและสถิติได้อย่างไร Taddy (2013) ได้พัฒนาการใช้ข้อความเพื่อการทำนายโดยการนำเสนอ multinomial inverse regression เพื่อกู้คืนคะแนนความรู้สึกและปริมาณอื่นๆ จากการนับคำ โดยแสดงให้เห็นว่าผลลัพธ์ที่เป็นตัวเลขสามารถอ่านได้จากคุณลักษณะของข้อความ

ควรใช้เมื่อใด

ใช้การถดถอยจากข้อความเมื่อคุณมีตัวทำนายที่เป็นข้อความและตัวแปรตามที่เป็นค่าตัวเลขต่อเนื่องที่คุณต้องการทำนายจากข้อความนั้น โดยมีเอกสารอย่างน้อยประมาณห้าสิบฉบับเพื่อใช้ในการเรียนรู้ ข้อความจะต้องถูกแปลงเป็นเวกเตอร์ก่อน และการลดมิติก็มักจะเป็นประโยชน์เนื่องจากปริภูมิคุณลักษณะของข้อความนั้นกว้างมาก วิธีนี้ไม่ได้สมมติว่าข้อมูลป้อนเข้ามีการแจกแจงปกติ หากมีเอกสารน้อยกว่ามาก หรือไม่มีตัวแปรตามที่เป็นตัวเลขให้ทำการถดถอย วิธีนี้ก็ไม่เหมาะสม

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการตัวอย่างข้อมูลที่เหมาะสม (ประมาณห้าสิบเอกสารขึ้นไป) เพื่อประมาณค่าสัมประสิทธิ์ที่เสถียร
  • ข้อความต้องถูกแปลงเป็นเวกเตอร์ก่อน และมิติที่สูงมากมักต้องการการลดมิติ
  • คุณภาพการทำนายขึ้นอยู่กับว่าคุณลักษณะข้อความที่เลือกสามารถบ่งชี้ถึงตัวแปรตามที่เป็นตัวเลขได้ดีเพียงใด

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ช่วยให้สามารถทำนายผลลัพธ์ที่เป็นค่าต่อเนื่องได้โดยตรงจากข้อความ โดยไม่ต้องมีการกำหนดเนื้อหาเอกสารด้วยตนเอง
  • ทำงานได้กับคุณลักษณะหลายประเภท — TF-IDF, การฝังคำ (embeddings) หรือ n-grams — ดังนั้นการแทนค่าสามารถปรับให้เข้ากับคลังข้อความได้
  • ไม่จำเป็นต้องใช้ข้อมูลป้อนเข้าที่มีการแจกแจงปกติ เหมาะสมกับคุณลักษณะที่เบาบางและมีมิติสูงที่เกิดจากข้อความ

การประยุกต์ใช้

  • การประมาณค่าคะแนนหรือเรตติ้งที่เป็นตัวเลขจากข้อความรีวิวและข้อเสนอแนะ
  • การทำนายปริมาณทางการเงินหรือตลาดจากข่าวสาร รายงานทางการเงิน และการเปิดเผยข้อมูล
  • การกู้คืนคะแนนความรู้สึกหรือทัศนคติที่เป็นค่าต่อเนื่องจากข้อความบนโซเชียลมีเดียในการวิจัยทางสังคมศาสตร์
  • การเชื่อมโยงเนื้อหาที่เขียนกับผลลัพธ์ที่วัดได้ในการศึกษาทางเศรษฐศาสตร์และนโยบาย

วิธีการทำงาน

วิธีการทำงาน

1

เอกสารแต่ละฉบับจะถูกแปลงเป็นคุณลักษณะเชิงตัวเลข เพื่อให้ข้อความกลายเป็นข้อมูลป้อนเข้าที่พร้อมสำหรับการถดถอย ขั้นตอนการแปลงเป็นเวกเตอร์นี้จะสร้างค่า TF-IDF, การฝังคำหรือเอกสาร (word or document embeddings) หรือการนับ n-gram ซึ่งเป็นการแปลงถ้อยคำที่ไม่มีโครงสร้างให้กลายเป็นตัวแปรอิสระที่โมเดลการถดถอยจะอ่าน

2

เนื่องจากเวกเตอร์ข้อความมักมีมิติสูงมาก การลดมิติ (dimensionality reduction) จึงมักถูกนำมาใช้เพื่อบีบอัดปริภูมิคุณลักษณะก่อนทำการปรับโมเดล การตัดคุณลักษณะที่ซ้ำซ้อนหรือเบาบางออกไปช่วยให้โมเดลมีความเสถียรและช่วยให้สามารถสรุปผลได้ดีขึ้น แทนที่จะจดจำถ้อยคำที่พบได้ยาก

3

โมเดลการถดถอยจะถูกฝึกเพื่อจับคู่คุณลักษณะข้อความกับตัวแปรตามที่เป็นค่าต่อเนื่อง ตัวทำนายเชิงเส้นแบบปรับค่า (regularised linear regressor) เป็นทางเลือกที่เหมาะสมสำหรับเมทริกซ์คุณลักษณะที่กว้างและเบาบางซึ่งเกิดจากข้อความ โดยเรียนรู้สัมประสิทธิ์ที่เชื่อมโยงถ้อยคำกับผลลัพธ์ที่เป็นตัวเลข

4

โมเดลที่ปรับค่าแล้วจะถูกประเมินผลบนข้อมูลที่แยกไว้ด้วยเมทริกซ์การถดถอย และจะมีการตรวจสอบข้อผิดพลาดที่ใหญ่ที่สุดก่อนที่จะเชื่อถือโมเดล วิธีนี้ช่วยป้องกันโมเดลที่ปรับเข้ากับข้อความฝึกได้ดี แต่ไม่สามารถทำนายตัวแปรตามบนเอกสารใหม่ได้

ข้อผิดพลาดที่พบบ่อย

  • การข้ามขั้นตอนการลดมิติบนเมทริกซ์คุณลักษณะที่กว้างมาก อาจนำไปสู่การปรับโมเดลให้เข้ากับถ้อยคำที่พบได้ยากมากเกินไป (overfitting)
  • การปรับโมเดลบนเอกสารจำนวนน้อยเกินไป จะทำให้ได้สัมประสิทธิ์ที่ไม่เสถียรซึ่งไม่สามารถสรุปผลได้
  • การนำตัวแปลงเวกเตอร์หรือโมเดลที่สร้างขึ้นจากคลังข้อความหรือโดเมนหนึ่งไปใช้กับอีกคลังข้อความหรือโดเมนหนึ่ง จะทำให้การทำนายแย่ลง ควรฝึกโมเดลใหม่บนข้อความเป้าหมาย
  • การประเมินโมเดลจากความพอดีกับข้อมูลฝึกเพียงอย่างเดียว — ควรประเมินบนข้อมูลที่แยกไว้เสมอ และตรวจสอบข้อผิดพลาดที่ใหญ่ที่สุด

คำถามที่พบบ่อย

การถดถอยจากข้อความทำนายเป้าหมายประเภทใด?

ตัวแปรตัวเลขที่เป็นค่าต่อเนื่อง — ตัวอย่างเช่น ราคา, คะแนนความพึงพอใจ หรือคะแนนความรู้สึก หากเป้าหมายเป็นหมวดหมู่แทนที่จะเป็นตัวเลข การจำแนกประเภทข้อความ (text classification) จะเป็นวิธีที่เหมาะสมแทน

ควรใช้คุณลักษณะข้อความใดเป็นตัวทำนาย?

ค่า TF-IDF, การฝังคำหรือเอกสาร (word or document embeddings) และการนับ n-gram ล้วนเป็นตัวเลือกมาตรฐาน การแทนค่าที่ดีที่สุดขึ้นอยู่กับคลังข้อความและสัญญาณที่คุณคาดว่าถ้อยคำจะสื่อถึงตัวแปรตาม

ต้องใช้ข้อมูลเท่าใด?

วิธีนี้คาดหวังข้อมูลประมาณห้าสิบเอกสารขึ้นไป เพื่อให้การถดถอยสามารถประมาณค่าสัมประสิทธิ์ที่เสถียรได้ เนื่องจากคุณลักษณะข้อความมีมิติสูง การลดมิติก็มักเป็นที่แนะนำแม้ว่ากลุ่มตัวอย่างจะเพียงพอแล้วก็ตาม

เหตุใดจึงแนะนำให้ลดมิติ?

การแปลงข้อความเป็นเวกเตอร์จะสร้างเมทริกซ์คุณลักษณะที่กว้างและเบาบาง การลดมิติจะบีบอัดคุณลักษณะที่ซ้ำซ้อน ทำให้การปรับโมเดลเสถียรขึ้น และช่วยให้โมเดลสามารถสรุปผลได้ แทนที่จะจดจำถ้อยคำที่พบได้ยาก

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Taddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว