Skip to content
กลับไปยังผลการค้นหา

Word2Vec — การฝังคำ

ผู้เสนอ
Tomas Mikolov et al.
ปี
2013
ประเภท
Neural word-embedding model

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Word2Vec เป็นเทคนิคการฝังคำแบบโครงข่ายประสาทเทียมที่ Mikolov และคณะ (2013) นำเสนอ ซึ่งแมปแต่ละคำในคลังข้อความไปยังเวกเตอร์ตัวเลขที่มีความหนาแน่น คำที่ปรากฏในบริบทที่คล้ายคลึงกันจะอยู่ใกล้กันในปริภูมิเวกเตอร์ ดังนั้นการฝังคำจึงจับความคล้ายคลึงทางความหมายที่สามารถวัดได้ด้วยเลขคณิต

แนวคิดเบื้องหลังวิธีการ

คอมพิวเตอร์ไม่สามารถเปรียบเทียบความหมายของคำได้โดยตรง แต่สามารถเรียนรู้จากคำที่อยู่รอบข้างได้ Word2Vec อ่านคลังข้อความขนาดใหญ่และสังเกตว่าคำใดมักจะอยู่รอบคำอื่น คำที่ใช้ในบริบทที่คล้ายคลึงกันจะได้รับเวกเตอร์ที่คล้ายกัน ดังนั้น 'king' จึงอยู่ใกล้ 'queen' และห่างจาก 'banana' ความหมายจะถูกเข้ารหัสเป็นตำแหน่งในปริภูมิ และความคล้ายคลึงจะกลายเป็นระยะทางที่สามารถคำนวณได้

ประวัติศาสตร์

Word2Vec ถูกนำเสนอโดย Mikolov และคณะในปี 2013 ในฐานะวิธีที่มีประสิทธิภาพในการประมาณค่าการแทนคำในปริภูมิเวกเตอร์ โดยนำเสนอสถาปัตยกรรม skip-gram และ continuous bag-of-words มันทำให้การฝังคำแบบกระจายตัวที่มีความหนาแน่นเป็นที่นิยม และตามมาด้วยแนวทางที่เกี่ยวข้อง เช่น GloVe และต่อมาคือการฝังคำตามบริบท

ควรใช้เมื่อใด

ใช้ Word2Vec เมื่อคุณมีคลังข้อความขนาดใหญ่ที่ไม่มีป้ายกำกับและต้องการการแทนค่าเวกเตอร์ที่มีความหนาแน่นซึ่งจับความคล้ายคลึงทางความหมายระหว่างคำ เหมาะสำหรับการวิเคราะห์ข้อความเชิงสำรวจและความสัมพันธ์ จำเป็นต้องมีคลังข้อความขนาดใหญ่พอสมควร (ประมาณร้อยเอกสารหรือมากกว่านั้น โดยเฉพาะอย่างยิ่งจำนวนมาก) บนคลังข้อความขนาดเล็ก โมเดลไม่สามารถเรียนรู้เวกเตอร์ที่มีความหมายได้ และเวกเตอร์ที่ฝึกไว้ล่วงหน้า เช่น GloVe จะเป็นตัวเลือกที่ดีกว่า หากไม่มีข้อมูลข้อความเลย การฝังคำจะไม่สามารถสร้างขึ้นได้

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการคลังข้อความขนาดใหญ่ คลังข้อความขนาดเล็กให้ผลลัพธ์เวกเตอร์ที่ไม่เสถียรและไม่มีความหมาย
  • ต้องมีการประมวลผลข้อความล่วงหน้าอย่างระมัดระวังก่อนการฝึก
  • กำหนดเวกเตอร์หนึ่งเวกเตอร์ต่อคำ ดังนั้นจึงไม่สามารถแยกแยะความหมายที่แตกต่างกันของคำเดียวกันจากบริบทได้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • จับความคล้ายคลึงทางความหมาย เพื่อให้คำที่เกี่ยวข้องอยู่ใกล้กันในปริภูมิเวกเตอร์
  • สร้างเวกเตอร์ที่มีความหนาแน่นกะทัดรัด ซึ่งทำหน้าที่เป็นคุณลักษณะเชิงตัวเลขสำหรับงานข้อความต่อเนื่อง
  • เรียนรู้จากข้อความที่ไม่มีป้ายกำกับเท่านั้น — ไม่จำเป็นต้องมีการใส่คำอธิบายประกอบด้วยตนเอง

การประยุกต์ใช้

  • การวัดความคล้ายคลึงทางความหมายระหว่างคำสำหรับการค้นหาและการแนะนำ
  • การสร้างคุณลักษณะคำเชิงตัวเลขที่ป้อนเข้าสู่การจัดกลุ่มและการจำแนกประเภทข้อความ
  • การสำรวจความสัมพันธ์และการเปรียบเทียบในคลังข้อความขนาดใหญ่
  • การสร้างทรัพยากรคำศัพท์จากคลังข้อความเฉพาะทางในงานวิจัยและอุตสาหกรรม

วิธีการทำงาน

วิธีการทำงาน

1

คลังข้อความขนาดใหญ่จะถูกทำความสะอาดและแบ่งเป็นลำดับของคำ Word2Vec ต้องการคลังข้อความขนาดใหญ่ — อย่างน้อยหลายพันประโยค — เนื่องจากเวกเตอร์ฝังคำจะถูกเรียนรู้จากรูปแบบการปรากฏร่วมกันเท่านั้น และข้อความที่น้อยเกินไปจะให้เวกเตอร์ที่ไม่เสถียรและไม่มีความหมาย

2

แต่ละคำจะถูกจับคู่กับคำที่อยู่รอบข้างภายในหน้าต่างบริบทที่เลื่อนได้ คู่ (คำเป้าหมาย, คำบริบท) เหล่านี้เป็นสัญญาณการฝึก: พวกมันเข้ารหัสว่าคำใดปรากฏร่วมกันและเป็นพื้นฐานสำหรับการเรียนรู้ว่าคำที่มีบริบทคล้ายคลึงกันควรมีเวกเตอร์ที่คล้ายคลึงกัน

3

โครงข่ายประสาทเทียมแบบตื้นจะถูกฝึกบนคู่บริบท โดยใช้สถาปัตยกรรม skip-gram (ทำนายคำบริบทจากคำเป้าหมาย) หรือ continuous bag-of-words (ทำนายคำเป้าหมายจากคำบริบท) น้ำหนักของโครงข่ายจะถูกปรับจนกระทั่งคำในบริบทที่คล้ายคลึงกันได้รับเวกเตอร์ที่คล้ายคลึงกัน

4

หลังจากการฝึก คำแต่ละคำจะถูกแทนด้วยเวกเตอร์ที่มีความหนาแน่นที่เรียนรู้มา — โดยทั่วไปมี 100 ถึง 300 มิติ จากนั้นการฝังคำเหล่านี้สามารถเปรียบเทียบได้ด้วยความคล้ายคลึงโคไซน์เพื่อค้นหาคำที่เกี่ยวข้อง หรือใช้เป็นคุณลักษณะเชิงตัวเลขสำหรับงานต่อเนื่อง เช่น การจัดกลุ่มหรือการจำแนกประเภท

ข้อผิดพลาดที่พบบ่อย

  • การฝึกบนคลังข้อความที่เล็กเกินไป (น้อยกว่าประมาณ 100 เอกสาร) จะสร้างสัญญาณรบกวนมากกว่าความหมาย — ควรเลือกใช้เวกเตอร์ GloVe ที่ฝึกไว้ล่วงหน้าแทน
  • การข้ามการประมวลผลล่วงหน้าจะทิ้งโทเค็นที่มีสัญญาณรบกวนซึ่งปนเปื้อนเวกเตอร์ที่เรียนรู้
  • การพยายามสร้างเวกเตอร์ฝังคำโดยไม่มีข้อมูลข้อความเลย — Word2Vec ไม่มีอะไรให้เรียนรู้ ควรจัดกลุ่มข้อมูลที่มีโครงสร้างแทน
  • การปฏิบัติต่อเวกเตอร์คงที่หนึ่งเวกเตอร์ต่อคำ ราวกับว่ามันจับความหมายทั้งหมดของคำนั้น

คำถามที่พบบ่อย

ความแตกต่างระหว่าง skip-gram และ CBOW คืออะไร?

ทั้งสองเป็นสถาปัตยกรรมโครงข่ายประสาทเทียมแบบตื้นสำหรับการเรียนรู้เวกเตอร์ฝังคำ Skip-gram ทำนายคำบริบทโดยรอบจากคำเป้าหมายที่กำหนด ในขณะที่ continuous bag-of-words (CBOW) ทำนายคำเป้าหมายจากบริบทโดยรอบ ผลลัพธ์ที่ได้คือเวกเตอร์ฝังคำที่เปรียบเทียบกันได้ โดย skip-gram มักทำงานได้ดีกว่าบนคลังข้อความขนาดเล็กและคำที่พบน้อย

คลังข้อความของฉันต้องมีขนาดเท่าใด?

Word2Vec เรียนรู้จากรูปแบบการปรากฏร่วมกันเท่านั้น ดังนั้นจึงต้องการคลังข้อความขนาดใหญ่ บนข้อความขนาดเล็กมาก (น้อยกว่าประมาณร้อยเอกสาร) จะไม่สามารถเรียนรู้เวกเตอร์ที่มีความหมายได้ ในกรณีนั้น เวกเตอร์ที่ฝึกไว้ล่วงหน้า เช่น GloVe จะเป็นตัวเลือกที่ปลอดภัยกว่า

ฉันจะวัดความคล้ายคลึงระหว่างสองคำได้อย่างไร?

เปรียบเทียบเวกเตอร์ที่เรียนรู้ด้วยความคล้ายคลึงโคไซน์ คำที่ใช้ในบริบทที่คล้ายคลึงกันจะได้รับเวกเตอร์ที่คล้ายกัน ดังนั้นความคล้ายคลึงโคไซน์สูงจึงบ่งชี้ถึงคำที่มีความสัมพันธ์ทางความหมาย

Word2Vec สามารถแยกแยะความหมายที่แตกต่างกันของคำเดียวกันได้หรือไม่?

ไม่ได้ มันกำหนดเวกเตอร์คงที่หนึ่งเวกเตอร์ต่อคำ โดยรวมความหมายทั้งหมดเข้าด้วยกัน การแยกแยะความหมายของคำจากบริบทต้องใช้โมเดลการฝังคำตามบริบท แทนที่จะเป็น Word2Vec

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว