Skip to content
กลับไปยังผลการค้นหา

Doc2Vec — การฝังเอกสาร

ผู้เสนอ
Quoc V. Le & Tomas Mikolov
ปี
2014
ประเภท
Document-embedding representation learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Doc2Vec หรือที่รู้จักในชื่อ Paragraph Vector เป็นวิธีการเรียนรู้การแทนค่าที่นำเสนอโดย Le และ Mikolov (2014) ซึ่งแมปเอกสารทั้งหมดให้เป็นเวกเตอร์หนาแน่นที่มีความยาวคงที่ เวกเตอร์เหล่านี้จัดวางเอกสารที่คล้ายกันไว้ใกล้กันในปริภูมิ สนับสนุนการเปรียบเทียบและการจำแนกประเภทเอกสาร

แนวคิดเบื้องหลังวิธีการ

เอกสารประกอบด้วยคำหลายคำที่มีความยาวแตกต่างกัน แต่แบบจำลองส่วนใหญ่ต้องการให้แต่ละเอกสารแสดงเป็นชุดตัวเลขที่มีขนาดคงที่ Doc2Vec เรียนรู้เวกเตอร์หนาแน่นเดียวสำหรับแต่ละเอกสารโดยการฝึกฝนร่วมกับคำต่างๆ เพื่อทำนายข้อความที่มีอยู่ เอกสารที่กล่าวถึงสิ่งต่างๆ ที่คล้ายกันจะลงเอยด้วยเวกเตอร์ที่คล้ายกัน ดังนั้นระยะทางทางเรขาคณิตระหว่างเวกเตอร์สองตัวจึงกลายเป็นมาตรวัดที่ใช้ได้ว่าเอกสารมีความเกี่ยวข้องกันอย่างไร

ประวัติศาสตร์

Doc2Vec หรือ Paragraph Vector ถูกนำเสนอโดย Quoc Le และ Tomas Mikolov ในบทความ ICML ปี 2014 เรื่อง Distributed Representations of Sentences and Documents เป็นการขยายแนวคิดการเรียนรู้เวกเตอร์คำหนาแน่นไปยังประโยคและเอกสารทั้งหมด โดยให้ข้อความแต่ละส่วนมีการแทนค่าที่มีความยาวคงที่ที่เรียนรู้ได้เอง

ควรใช้เมื่อใด

Doc2Vec เหมาะสมเมื่อคุณมีคลังข้อมูลข้อความและต้องการเวกเตอร์หนาแน่นเดียวต่อเอกสารสำหรับการเปรียบเทียบ การจำแนกประเภท หรือการวิเคราะห์ความสัมพันธ์ สมมติฐานคือมีจำนวนและความยาวของเอกสารเพียงพอ — ประมาณ 100 เอกสารขึ้นไป — และได้ทำการประมวลผลข้อความแล้ว ด้วยเอกสารที่น้อยเกินไปหรือสั้นมาก เวกเตอร์ที่เรียนรู้จะไม่น่าเชื่อถือ

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการจำนวนและความยาวของเอกสารที่เพียงพอเพื่อเรียนรู้เวกเตอร์ที่เสถียร คลังข้อมูลขนาดเล็กให้การฝังที่ไม่น่าเชื่อถือ
  • ต้องการการประมวลผลข้อความที่เหมาะสมก่อนการฝึกฝน
  • ประสิทธิภาพขึ้นอยู่กับการเลือกการฝึกฝน เช่น ขนาดเวกเตอร์และจำนวน epochs

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • สร้างเวกเตอร์หนาแน่นที่มีความยาวคงที่เดียวสำหรับเอกสารทั้งฉบับ โดยไม่คำนึงถึงความยาวเดิม
  • การฝังจะจัดวางเอกสารที่คล้ายกันไว้ใกล้กัน ทำให้สามารถเปรียบเทียบโดยตรงและค้นหาความคล้ายคลึงได้
  • เวกเตอร์ผลลัพธ์ป้อนเข้าสู่การจำแนกประเภทและการวิเคราะห์ความสัมพันธ์ได้อย่างเป็นธรรมชาติ

การประยุกต์ใช้

  • การเปรียบเทียบเอกสารตามความคล้ายคลึงสำหรับการค้นหาและการดึงข้อมูล
  • การจำแนกประเภทเอกสารโดยใช้เวกเตอร์ที่เรียนรู้เป็นคุณลักษณะ
  • การจัดกลุ่มหรือสำรวจคลังข้อมูลข้อความขนาดใหญ่ตามความใกล้เคียงทางความหมาย
  • การศึกษาความสัมพันธ์ระหว่างเอกสารในสาขามนุษยศาสตร์ สังคมศาสตร์ และธุรกิจ

วิธีการทำงาน

วิธีการทำงาน

1

คลังข้อมูลจะถูกทำความสะอาดและแบ่งเป็นหน่วย (tokenised) ที่แบบจำลองจะเรียนรู้จากการประมวลผลข้อความที่สอดคล้องกันเป็นสิ่งจำเป็น เพื่อให้เอกสารสามารถเปรียบเทียบกันได้และเวกเตอร์ที่เรียนรู้มีความเสถียร

2

แต่ละเอกสารจะถูกจับคู่กับแท็ก (ตัวระบุ) ที่ไม่ซ้ำกัน แท็กนี้คือสิ่งที่แบบจำลองจะเชื่อมโยงกับเวกเตอร์ที่เรียนรู้ ทำให้แต่ละเอกสารรักษาการแทนค่าที่แตกต่างกันตลอดการฝึกฝน

3

แบบจำลองจะถูกฝึกฝนกับเอกสารที่มีแท็กเป็นเวลาหลายรอบ (epochs) โดยเรียนรู้เวกเตอร์คำและเวกเตอร์เอกสารร่วมกัน เพื่อให้เวกเตอร์เอกสารแต่ละตัวช่วยทำนายคำที่มันมีอยู่ ขนาดเวกเตอร์ที่เลือกจะกำหนดมิติของการฝังผลลัพธ์

4

หลังจากการฝึกฝน เอกสารแต่ละฉบับจะถูกแทนด้วยเวกเตอร์หนาแน่นที่มีความยาวคงที่ การฝังเหล่านี้สามารถเปรียบเทียบได้โดยตรง เช่น โดยระยะทางหรือความคล้ายคลึง และป้อนเข้าสู่การจำแนกประเภทหรืองานความสัมพันธ์ที่ตามมา

ข้อผิดพลาดที่พบบ่อย

  • การทำงานกับเอกสารน้อยเกินไป (ต่ำกว่าประมาณ 100) ให้เวกเตอร์ที่มีสัญญาณรบกวนและไม่เสถียร
  • การข้ามหรือการใช้การประมวลผลที่ไม่สอดคล้องกันทำให้เวกเตอร์ที่เรียนรู้เปรียบเทียบได้ยาก
  • เอกสารที่สั้นมากมีสัญญาณน้อยเกินไปสำหรับการฝังที่มีความหมาย
  • การปฏิบัติต่อขนาดเวกเตอร์และ epochs เป็นค่าเริ่มต้นคงที่ แทนที่จะปรับให้เข้ากับคลังข้อมูล

คำถามที่พบบ่อย

Doc2Vec แตกต่างจาก word embeddings อย่างไร?

วิธีการฝังคำ (word-embedding methods) เรียนรู้เวกเตอร์สำหรับแต่ละคำ Doc2Vec เรียนรู้เวกเตอร์เพิ่มเติมสำหรับแต่ละเอกสารทั้งฉบับ ดังนั้นคุณจะได้การแทนค่าที่มีความยาวคงที่ต่อเอกสาร แทนที่จะต้องรวมเวกเตอร์คำด้วยตนเอง

ฉันต้องการเอกสารกี่ฉบับ?

วิธีการนี้สมมติว่ามีจำนวนและความยาวของเอกสารเพียงพอ — ประมาณ 100 ฉบับขึ้นไป ด้วยเอกสารที่น้อยกว่ามาก หรือเอกสารที่สั้นมาก เวกเตอร์ที่เรียนรู้จะกลายเป็นไม่น่าเชื่อถือ

ฉันต้องประมวลผลข้อความก่อนหรือไม่?

ใช่ คลังข้อมูลควรถูกทำความสะอาดและแบ่งเป็นหน่วย (tokenised) อย่างสม่ำเสมอก่อนการฝึกฝน มิฉะนั้นเวกเตอร์เอกสารที่เรียนรู้จะเปรียบเทียบได้ยาก

ฉันสามารถทำอะไรกับเวกเตอร์ผลลัพธ์ได้บ้าง?

เอกสารแต่ละฉบับจะกลายเป็นเวกเตอร์หนาแน่นที่มีความยาวคงที่ ซึ่งคุณสามารถเปรียบเทียบได้ด้วยระยะทางหรือความคล้ายคลึง หรือใช้โดยตรงเป็นคุณลักษณะอินพุตสำหรับการจำแนกประเภทและการวิเคราะห์ความสัมพันธ์

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Le, Q. V. & Mikolov, T. (2014). Distributed Representations of Sentences and Documents. Proceedings of the 31st International Conference on Machine Learning (ICML), 1188-1196.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว