การฝังเวกเตอร์ GloVe — เวกเตอร์โลกสำหรับการแสดงคำศัพท์
- ผู้เสนอ
- Pennington, Socher & Manning
- ปี
- 2014
- ประเภท
- Static word-embedding model
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
GloVe (Global Vectors for Word Representation) เป็นแบบจำลองการฝังคำแบบสถิต (static word-embedding model) ที่นำเสนอโดย Pennington, Socher และ Manning (2014) ซึ่งเรียนรู้เวกเตอร์คำศัพท์โดยตรงจากสถิติการปรากฏร่วมกันของคำ (word-word co-occurrence statistics) ทั่วทั้งคลังข้อความ (corpus) เวกเตอร์ที่ได้จะจัดวางคำที่มีความหมายเกี่ยวข้องกันให้อยู่ใกล้กัน และทำงานได้ดีในงานการเปรียบเทียบความหมาย (semantic analogy tasks)
แนวคิดเบื้องหลังวิธีการ
คำที่ปรากฏในบริบทที่คล้ายคลึงกันมักจะมีความหมายคล้ายคลึงกัน แทนที่จะสแกนข้อความทีละหน้าต่างเล็กๆ GloVe จะนับก่อนว่าคำแต่ละคู่ปรากฏร่วมกันบ่อยเพียงใดทั่วทั้งคลังข้อความ จากนั้นจึงปรับเวกเตอร์เพื่อให้ความสัมพันธ์ระหว่างจำนวนการปรากฏร่วมกันเหล่านั้นถูกจับเป็นความสัมพันธ์เชิงเรขาคณิตระหว่างเวกเตอร์คำ ผลลัพธ์คือการคำนวณเวกเตอร์อย่างง่ายสะท้อนความหมาย — โครงสร้างที่ทำให้การเปรียบเทียบเช่น 'ราชาต่อราชินี เหมือนกับ ชายต่อหญิง' เกิดขึ้นจากเรขาคณิต
ประวัติศาสตร์
GloVe ถูกนำเสนอโดย Pennington, Socher และ Manning ที่งาน EMNLP ปี 2014 ถูกวางตำแหน่งให้เป็นแบบจำลองที่รวมจุดแข็งของวิธีการแยกตัวประกอบเมทริกซ์ทั่วทั้งคลังข้อความ (global matrix-factorisation methods) และวิธีการหน้าต่างบริบทเฉพาะส่วน (local context-window methods) โดยการฝึกฝนโดยตรงบนเมทริกซ์การปรากฏร่วมกันของคำทั่วทั้งคลังข้อความ และได้กลายเป็นแหล่งที่มาของเวกเตอร์คำสถิติที่ฝึกฝนไว้ล่วงหน้าอย่างแพร่หลาย
ควรใช้เมื่อใด
GloVe เหมาะสมกับข้อมูลข้อความเมื่อคุณต้องการเวกเตอร์ที่คงที่และนำกลับมาใช้ใหม่ได้สำหรับแต่ละคำ และมีคลังข้อความขนาดใหญ่สำหรับฝึกฝน หรือสามารถใช้เวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้ จำเป็นต้องมีข้อความจำนวนพอสมควร — ประมาณร้อยเอกสารขึ้นไป — และต้องมีการประมวลผลข้อความล่วงหน้าก่อน เหมาะสำหรับงานสำรวจความสัมพันธ์เชิงความหมายและความคล้ายคลึงของคำ หากไม่มีข้อมูลข้อความ GloVe จะไม่สามารถทำงานได้
ข้อจำกัดและข้อควรพิจารณา
- เวกเตอร์เป็นแบบสถิต: แต่ละคำจะได้รับเวกเตอร์เดียวโดยไม่คำนึงถึงบริบท ดังนั้นจึงไม่สามารถแยกแยะความหมายของคำเดียวกันได้
- การฝึกฝนตั้งแต่ต้นต้องการคลังข้อความขนาดใหญ่เพื่อให้ได้เวกเตอร์ที่เชื่อถือได้
- สถิติการปรากฏร่วมกันขึ้นอยู่กับคลังข้อความ ดังนั้นแบบจำลองที่ฝึกฝนในโดเมนหนึ่งอาจถ่ายโอนไปยังอีกโดเมนหนึ่งได้ไม่ดี
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียนรู้จากสถิติการปรากฏร่วมกันทั่วทั้งคลังข้อความ แทนที่จะเป็นเพียงหน้าต่างบริบทเฉพาะส่วน
- ทำงานได้ดีในงานการเปรียบเทียบความหมายและงานวัดความคล้ายคลึงของคำ
- สามารถโหลดเวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้โดยตรง ทำให้ไม่ต้องฝึกฝนบนคลังข้อความขนาดใหญ่
การประยุกต์ใช้
- การคำนวณความคล้ายคลึงของคำและเพื่อนบ้านที่ใกล้ที่สุดภายในคำศัพท์
- การแก้ปัญหาการเปรียบเทียบความหมายผ่านการคำนวณเวกเตอร์
- การจัดหาคุณลักษณะคำที่ฝึกฝนไว้ล่วงหน้าเป็นอินพุตสำหรับแบบจำลองการจำแนกประเภทข้อความหรือการจัดกลุ่มในขั้นตอนต่อไป
- การสำรวจโครงสร้างและความสัมพันธ์เชิงความหมายในคลังข้อความขนาดใหญ่
วิธีการทำงาน
วิธีการทำงาน
คลังข้อความจะถูกแบ่งเป็นโทเค็นและทำความสะอาดเพื่อให้คำศัพท์มีความสอดคล้องกัน การประมวลผลข้อความล่วงหน้า (text preprocessing) เป็นสิ่งจำเป็นก่อนเริ่มการนับ เนื่องจากคุณภาพของสถิติการปรากฏร่วมกันขึ้นอยู่กับคำศัพท์ที่สะอาดและนิยามชัดเจน
เมทริกซ์การปรากฏร่วมกันของคำทั่วทั้งคลังข้อความ (global word-word co-occurrence matrix) ถูกสร้างขึ้นโดยการนับว่าแต่ละคู่คำปรากฏร่วมกันบ่อยเพียงใดภายในหน้าต่างบริบท (context window) ทั่วทั้งคลังข้อความ เมทริกซ์นี้เป็นสถิติทั่วทั้งคลังข้อความที่ทำให้ GloVe ได้ชื่อมาและแตกต่างจากวิธีการที่เน้นเฉพาะส่วนเฉพาะหน้าต่าง (local, window-by-window approaches)
GloVe ปรับเวกเตอร์คำให้เข้ากับเมทริกซ์การปรากฏร่วมกัน เพื่อให้ผลคูณจุด (dot product) ของเวกเตอร์สองคำใกล้เคียงกับลอการิทึมของจำนวนการปรากฏร่วมกันของคำคู่นั้น การปรากฏร่วมกันที่บ่อยจะถูกลดน้ำหนัก เพื่อไม่ให้คู่คำที่พบบ่อยมากมีอิทธิพลมากเกินไป ทำให้ได้เวกเตอร์สถิติที่หนาแน่น (dense static vectors) ตามมิติที่เลือก
เวกเตอร์ที่ฝึกฝนแล้ว (หรือเวกเตอร์ที่ฝึกฝนไว้ล่วงหน้า) จะถูกนำไปใช้ในขั้นตอนต่อไป: การวัดความคล้ายคลึงของคำ การแก้ปัญหาการเปรียบเทียบความหมาย หรือใช้เป็นคุณลักษณะอินพุตสำหรับแบบจำลองอื่นๆ สามารถฝึกฝนคลังข้อความขนาดใหญ่ตั้งแต่ต้น หรือโหลดเวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้โดยตรง
ข้อผิดพลาดที่พบบ่อย
- การข้ามการประมวลผลข้อความล่วงหน้าจะทำให้คำศัพท์มีสัญญาณรบกวนและลดทอนจำนวนการปรากฏร่วมกันที่แบบจำลองต้องอาศัย
- การฝึกฝนบนข้อความน้อยเกินไป (น้อยกว่าประมาณ 100 เอกสาร) จะให้เวกเตอร์ที่ไม่เสถียร — ควรใช้เวกเตอร์ที่ฝึกฝนไว้ล่วงหน้าเมื่อคลังข้อความมีขนาดเล็ก
- การปฏิบัติต่อ GloVe ราวกับว่าคำนึงถึงบริบท: มันกำหนดเวกเตอร์คงที่หนึ่งเวกเตอร์ต่อคำ ดังนั้นจึงไม่สามารถแยกแยะความหมายที่แตกต่างกันของคำเดียวกันได้เหมือนกับแบบจำลองที่คำนึงถึงบริบท
- การนำเวกเตอร์ที่ฝึกฝนในโดเมนหรือภาษาหนึ่งไปใช้อีกโดเมนหรือภาษาหนึ่งโดยไม่ตรวจสอบว่าคำศัพท์ตรงกันหรือไม่
คำถามที่พบบ่อย
GloVe แตกต่างจาก word2vec อย่างไร?
ทั้งสองแบบจำลองสร้างเวกเตอร์คำแบบสถิต แต่ GloVe ฝึกฝนบนเมทริกซ์การปรากฏร่วมกันของคำทั่วทั้งคลังข้อความที่สร้างจากคลังข้อความทั้งหมด ในขณะที่ word2vec เรียนรู้จากหน้าต่างบริบทเฉพาะส่วนที่สแกนผ่านข้อความ GloVe ถูกออกแบบมาเพื่อรวมมุมมองสถิติทั่วทั้งคลังข้อความของการแยกตัวประกอบเมทริกซ์เข้ากับมุมมองหน้าต่างบริบท
ฉันจำเป็นต้องฝึก GloVe ด้วยตนเองหรือไม่?
ไม่จำเป็นเสมอไป คุณสามารถฝึกฝนบนคลังข้อความขนาดใหญ่ตั้งแต่ต้น หรือโหลดเวกเตอร์ GloVe ที่ฝึกฝนไว้ล่วงหน้าได้โดยตรง เมื่อคลังข้อความของคุณมีขนาดเล็ก เวกเตอร์ที่ฝึกฝนไว้ล่วงหน้าเป็นทางเลือกที่ปลอดภัยกว่า
ทำไมเวกเตอร์ถึงเรียกว่า 'สถิต'?
แต่ละคำจะได้รับเวกเตอร์คงที่เพียงเวกเตอร์เดียวโดยไม่คำนึงถึงประโยคที่ปรากฏ ซึ่งหมายความว่า GloVe ไม่สามารถแยกแยะความหมายที่แตกต่างกันของคำเดียวกันจากบริบทได้ แตกต่างจากแบบจำลองการฝังคำที่คำนึงถึงบริบท
ฉันต้องการข้อความจำนวนเท่าใด?
การฝึกฝนตั้งแต่ต้นต้องการคลังข้อความขนาดใหญ่เพื่อให้สถิติการปรากฏร่วมกันที่เชื่อถือได้ ประมาณร้อยเอกสารขึ้นไปเป็นเกณฑ์ขั้นต่ำที่ใช้งานได้จริง และต้องมีการประมวลผลล่วงหน้าก่อน ต่ำกว่านั้น ให้ใช้เวกเตอร์ที่ฝึกฝนไว้ล่วงหน้า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว