Skip to content
กลับไปยังผลการค้นหา

การฝังเวกเตอร์ GloVe — เวกเตอร์โลกสำหรับการแสดงคำศัพท์

ผู้เสนอ
Pennington, Socher & Manning
ปี
2014
ประเภท
Static word-embedding model

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

GloVe (Global Vectors for Word Representation) เป็นแบบจำลองการฝังคำแบบสถิต (static word-embedding model) ที่นำเสนอโดย Pennington, Socher และ Manning (2014) ซึ่งเรียนรู้เวกเตอร์คำศัพท์โดยตรงจากสถิติการปรากฏร่วมกันของคำ (word-word co-occurrence statistics) ทั่วทั้งคลังข้อความ (corpus) เวกเตอร์ที่ได้จะจัดวางคำที่มีความหมายเกี่ยวข้องกันให้อยู่ใกล้กัน และทำงานได้ดีในงานการเปรียบเทียบความหมาย (semantic analogy tasks)

แนวคิดเบื้องหลังวิธีการ

คำที่ปรากฏในบริบทที่คล้ายคลึงกันมักจะมีความหมายคล้ายคลึงกัน แทนที่จะสแกนข้อความทีละหน้าต่างเล็กๆ GloVe จะนับก่อนว่าคำแต่ละคู่ปรากฏร่วมกันบ่อยเพียงใดทั่วทั้งคลังข้อความ จากนั้นจึงปรับเวกเตอร์เพื่อให้ความสัมพันธ์ระหว่างจำนวนการปรากฏร่วมกันเหล่านั้นถูกจับเป็นความสัมพันธ์เชิงเรขาคณิตระหว่างเวกเตอร์คำ ผลลัพธ์คือการคำนวณเวกเตอร์อย่างง่ายสะท้อนความหมาย — โครงสร้างที่ทำให้การเปรียบเทียบเช่น 'ราชาต่อราชินี เหมือนกับ ชายต่อหญิง' เกิดขึ้นจากเรขาคณิต

ประวัติศาสตร์

GloVe ถูกนำเสนอโดย Pennington, Socher และ Manning ที่งาน EMNLP ปี 2014 ถูกวางตำแหน่งให้เป็นแบบจำลองที่รวมจุดแข็งของวิธีการแยกตัวประกอบเมทริกซ์ทั่วทั้งคลังข้อความ (global matrix-factorisation methods) และวิธีการหน้าต่างบริบทเฉพาะส่วน (local context-window methods) โดยการฝึกฝนโดยตรงบนเมทริกซ์การปรากฏร่วมกันของคำทั่วทั้งคลังข้อความ และได้กลายเป็นแหล่งที่มาของเวกเตอร์คำสถิติที่ฝึกฝนไว้ล่วงหน้าอย่างแพร่หลาย

ควรใช้เมื่อใด

GloVe เหมาะสมกับข้อมูลข้อความเมื่อคุณต้องการเวกเตอร์ที่คงที่และนำกลับมาใช้ใหม่ได้สำหรับแต่ละคำ และมีคลังข้อความขนาดใหญ่สำหรับฝึกฝน หรือสามารถใช้เวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้ จำเป็นต้องมีข้อความจำนวนพอสมควร — ประมาณร้อยเอกสารขึ้นไป — และต้องมีการประมวลผลข้อความล่วงหน้าก่อน เหมาะสำหรับงานสำรวจความสัมพันธ์เชิงความหมายและความคล้ายคลึงของคำ หากไม่มีข้อมูลข้อความ GloVe จะไม่สามารถทำงานได้

ข้อจำกัดและข้อควรพิจารณา

  • เวกเตอร์เป็นแบบสถิต: แต่ละคำจะได้รับเวกเตอร์เดียวโดยไม่คำนึงถึงบริบท ดังนั้นจึงไม่สามารถแยกแยะความหมายของคำเดียวกันได้
  • การฝึกฝนตั้งแต่ต้นต้องการคลังข้อความขนาดใหญ่เพื่อให้ได้เวกเตอร์ที่เชื่อถือได้
  • สถิติการปรากฏร่วมกันขึ้นอยู่กับคลังข้อความ ดังนั้นแบบจำลองที่ฝึกฝนในโดเมนหนึ่งอาจถ่ายโอนไปยังอีกโดเมนหนึ่งได้ไม่ดี

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียนรู้จากสถิติการปรากฏร่วมกันทั่วทั้งคลังข้อความ แทนที่จะเป็นเพียงหน้าต่างบริบทเฉพาะส่วน
  • ทำงานได้ดีในงานการเปรียบเทียบความหมายและงานวัดความคล้ายคลึงของคำ
  • สามารถโหลดเวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้โดยตรง ทำให้ไม่ต้องฝึกฝนบนคลังข้อความขนาดใหญ่

การประยุกต์ใช้

  • การคำนวณความคล้ายคลึงของคำและเพื่อนบ้านที่ใกล้ที่สุดภายในคำศัพท์
  • การแก้ปัญหาการเปรียบเทียบความหมายผ่านการคำนวณเวกเตอร์
  • การจัดหาคุณลักษณะคำที่ฝึกฝนไว้ล่วงหน้าเป็นอินพุตสำหรับแบบจำลองการจำแนกประเภทข้อความหรือการจัดกลุ่มในขั้นตอนต่อไป
  • การสำรวจโครงสร้างและความสัมพันธ์เชิงความหมายในคลังข้อความขนาดใหญ่

วิธีการทำงาน

วิธีการทำงาน

1

คลังข้อความจะถูกแบ่งเป็นโทเค็นและทำความสะอาดเพื่อให้คำศัพท์มีความสอดคล้องกัน การประมวลผลข้อความล่วงหน้า (text preprocessing) เป็นสิ่งจำเป็นก่อนเริ่มการนับ เนื่องจากคุณภาพของสถิติการปรากฏร่วมกันขึ้นอยู่กับคำศัพท์ที่สะอาดและนิยามชัดเจน

2

เมทริกซ์การปรากฏร่วมกันของคำทั่วทั้งคลังข้อความ (global word-word co-occurrence matrix) ถูกสร้างขึ้นโดยการนับว่าแต่ละคู่คำปรากฏร่วมกันบ่อยเพียงใดภายในหน้าต่างบริบท (context window) ทั่วทั้งคลังข้อความ เมทริกซ์นี้เป็นสถิติทั่วทั้งคลังข้อความที่ทำให้ GloVe ได้ชื่อมาและแตกต่างจากวิธีการที่เน้นเฉพาะส่วนเฉพาะหน้าต่าง (local, window-by-window approaches)

3

GloVe ปรับเวกเตอร์คำให้เข้ากับเมทริกซ์การปรากฏร่วมกัน เพื่อให้ผลคูณจุด (dot product) ของเวกเตอร์สองคำใกล้เคียงกับลอการิทึมของจำนวนการปรากฏร่วมกันของคำคู่นั้น การปรากฏร่วมกันที่บ่อยจะถูกลดน้ำหนัก เพื่อไม่ให้คู่คำที่พบบ่อยมากมีอิทธิพลมากเกินไป ทำให้ได้เวกเตอร์สถิติที่หนาแน่น (dense static vectors) ตามมิติที่เลือก

4

เวกเตอร์ที่ฝึกฝนแล้ว (หรือเวกเตอร์ที่ฝึกฝนไว้ล่วงหน้า) จะถูกนำไปใช้ในขั้นตอนต่อไป: การวัดความคล้ายคลึงของคำ การแก้ปัญหาการเปรียบเทียบความหมาย หรือใช้เป็นคุณลักษณะอินพุตสำหรับแบบจำลองอื่นๆ สามารถฝึกฝนคลังข้อความขนาดใหญ่ตั้งแต่ต้น หรือโหลดเวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้โดยตรง

ข้อผิดพลาดที่พบบ่อย

  • การข้ามการประมวลผลข้อความล่วงหน้าจะทำให้คำศัพท์มีสัญญาณรบกวนและลดทอนจำนวนการปรากฏร่วมกันที่แบบจำลองต้องอาศัย
  • การฝึกฝนบนข้อความน้อยเกินไป (น้อยกว่าประมาณ 100 เอกสาร) จะให้เวกเตอร์ที่ไม่เสถียร — ควรใช้เวกเตอร์ที่ฝึกฝนไว้ล่วงหน้าเมื่อคลังข้อความมีขนาดเล็ก
  • การปฏิบัติต่อ GloVe ราวกับว่าคำนึงถึงบริบท: มันกำหนดเวกเตอร์คงที่หนึ่งเวกเตอร์ต่อคำ ดังนั้นจึงไม่สามารถแยกแยะความหมายที่แตกต่างกันของคำเดียวกันได้เหมือนกับแบบจำลองที่คำนึงถึงบริบท
  • การนำเวกเตอร์ที่ฝึกฝนในโดเมนหรือภาษาหนึ่งไปใช้อีกโดเมนหรือภาษาหนึ่งโดยไม่ตรวจสอบว่าคำศัพท์ตรงกันหรือไม่

คำถามที่พบบ่อย

GloVe แตกต่างจาก word2vec อย่างไร?

ทั้งสองแบบจำลองสร้างเวกเตอร์คำแบบสถิต แต่ GloVe ฝึกฝนบนเมทริกซ์การปรากฏร่วมกันของคำทั่วทั้งคลังข้อความที่สร้างจากคลังข้อความทั้งหมด ในขณะที่ word2vec เรียนรู้จากหน้าต่างบริบทเฉพาะส่วนที่สแกนผ่านข้อความ GloVe ถูกออกแบบมาเพื่อรวมมุมมองสถิติทั่วทั้งคลังข้อความของการแยกตัวประกอบเมทริกซ์เข้ากับมุมมองหน้าต่างบริบท

ฉันจำเป็นต้องฝึก GloVe ด้วยตนเองหรือไม่?

ไม่จำเป็นเสมอไป คุณสามารถฝึกฝนบนคลังข้อความขนาดใหญ่ตั้งแต่ต้น หรือโหลดเวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้โดยตรง เมื่อคลังข้อความของคุณมีขนาดเล็ก เวกเตอร์ที่ฝึกฝนไว้ล่วงหน้าเป็นทางเลือกที่ปลอดภัยกว่า

ทำไมเวกเตอร์ถึงเรียกว่า 'สถิต'?

แต่ละคำจะได้รับเวกเตอร์คงที่เพียงเวกเตอร์เดียวโดยไม่คำนึงถึงประโยคที่ปรากฏ ซึ่งหมายความว่า GloVe ไม่สามารถแยกแยะความหมายที่แตกต่างกันของคำเดียวกันจากบริบทได้ แตกต่างจากแบบจำลองการฝังคำที่คำนึงถึงบริบท

ฉันต้องการข้อความจำนวนเท่าใด?

การฝึกฝนตั้งแต่ต้นต้องการคลังข้อความขนาดใหญ่เพื่อให้สถิติการปรากฏร่วมกันที่เชื่อถือได้ ประมาณร้อยเอกสารขึ้นไปเป็นเกณฑ์ขั้นต่ำที่ใช้งานได้จริง และต้องมีการประมวลผลล่วงหน้าก่อน ต่ำกว่านั้น ให้ใช้เวกเตอร์ที่ฝึกฝนไว้ล่วงหน้า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว