Skip to content
กลับไปยังผลการค้นหา

Sentence Embeddings

ผู้เสนอ
Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
ปี
2015–2019
ประเภท
Representation learning / embedding
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Sentence Embeddings แปลงประโยคหรือข้อความสั้นๆ ให้เป็นเวกเตอร์ความยาวคงที่แบบหนาแน่น (dense vector) ที่จับความหมายเชิงความหมาย (semantic meaning) ของประโยคนั้นๆ เวกเตอร์เหล่านี้ช่วยให้งานที่ตามมา เช่น การวัดความคล้ายคลึงทางความหมาย (semantic similarity), การจัดกลุ่ม (clustering), การค้นคืน (retrieval) และการจำแนกประเภท (classification) สามารถทำงานกับข้อมูลเชิงตัวเลขแทนที่จะเป็นข้อความดิบได้ ทำให้เป็นหนึ่งในส่วนประกอบที่หลากหลายที่สุดในไปป์ไลน์ NLP สมัยใหม่

แนวคิดเบื้องหลังวิธีการ

ลองจินตนาการว่าแต่ละประโยคเปรียบเสมือนจุดหนึ่งในปริภูมิหลายมิติ (high-dimensional space) โดยความหมายเป็นตัวกำหนดความใกล้เคียง: สองประโยคที่มีความหมายเหมือนกันแต่ใช้คำต่างกันจะอยู่ใกล้กันมาก ในขณะที่ประโยคที่ไม่เกี่ยวข้องกันจะอยู่ห่างกัน โมเดล Sentence Embedding เรียนรู้เรขาคณิตนี้จากคลังข้อมูลขนาดใหญ่ เมื่อโมเดลได้รับการฝึกฝนแล้ว การแปลงประโยคใหม่เป็นเวกเตอร์ก็คือการส่งข้อมูลผ่านโมเดลเพียงครั้งเดียว (single forward pass) โดยไม่ต้องฝึกฝนเพิ่มเติม และงานใดๆ ที่ตามมาก็สามารถทำงานกับพิกัดเหล่านี้ได้โดยตรง การนำเรขาคณิตที่ฝึกฝนไว้ล่วงหน้ามาใช้ซ้ำนี้เองที่ทำให้ Sentence Embeddings มีประสิทธิภาพ: คุณสามารถเปรียบเทียบ จัดกลุ่ม หรือจำแนกข้อความจำนวนนับล้านโดยไม่ต้องใช้ป้ายกำกับเฉพาะสำหรับแต่ละงาน

ประวัติศาสตร์

การแทนประโยคยุคแรกๆ ใช้เวกเตอร์คำเฉลี่ย (word2vec, GloVe) Skip-Thought Vectors (Kiros et al., 2015) ฝึกฝนตัวเข้ารหัส-ตัวถอดรหัสเพื่อทำนายประโยคข้างเคียง สร้าง Sentence Embedding เชิงบริบทแบบลึกชุดแรก InferSent (Conneau et al., 2017) ปรับแต่งด้วยคู่ NLI และแสดงการถ่ายโอนความรู้ที่ดี Sentence-BERT (Reimers & Gurevych, 2019) นำสถาปัตยกรรม Siamese BERT มาใช้กับข้อมูล NLI และปรับปรุงคุณภาพของเวกเตอร์ฝังตัวที่ได้จาก BERT อย่างมาก พร้อมทั้งลดเวลาในการคำนวณความคล้ายคลึงจาก 65 ชั่วโมงเหลือประมาณ 5 วินาทีสำหรับคู่ประโยค 10,000 คู่

ควรใช้เมื่อใด

ใช้ Sentence Embeddings เมื่อคุณต้องการวัดความคล้ายคลึงทางความหมาย จัดกลุ่มเอกสาร ทำการค้นคืนแบบหนาแน่น (dense retrieval) หรือป้อนข้อความเข้าสู่ตัวจำแนกประเภทโดยไม่มีป้ายกำกับเฉพาะสำหรับแต่ละตัวอย่าง งานเหล่านี้จะทำได้ดีเมื่อคุณมีข้อความปริมาณปานกลางถึงมาก และต้องการการแทนค่าแบบทั่วไปที่สามารถนำไปใช้กับงานต่างๆ ได้ อย่าใช้ Sentence Embeddings ดิบๆ (โดยไม่มีการปรับแต่งหรือส่วนหัวเฉพาะงาน) เมื่อคุณต้องการความน่าจะเป็นที่ปรับเทียบแล้ว (calibrated probabilities) หรือน้ำหนักคุณลักษณะที่ตีความได้ (interpretable feature weights) นอกจากนี้ยังไม่เหมาะสำหรับข้อความที่สั้นมาก (หนึ่งหรือสองคำ) สำหรับภาษาที่ไม่มีตัวเข้ารหัสที่ฝึกฝนไว้ล่วงหน้า หรือเมื่อทรัพยากรคอมพิวเตอร์มีจำกัดอย่างมาก เนื่องจากกระบวนการเข้ารหัสเอกสารยาวๆ จำนวนนับล้านอาจมีค่าใช้จ่ายสูง

ข้อจำกัดและข้อควรพิจารณา

  • คุณภาพของเวกเตอร์ฝังตัวขึ้นอยู่กับคุณภาพและโดเมนของโมเดลที่ฝึกฝนไว้ล่วงหน้าอย่างมาก ข้อความนอกโดเมนทำให้ประสิทธิภาพลดลง
  • การแทนเอกสารยาวๆ ด้วยเวกเตอร์คงที่เดียวจะสูญเสียข้อมูลเฉพาะจุด (fine-grained local information)
  • เกณฑ์ความคล้ายคลึงโคไซน์สำหรับการตัดสินใจในงานที่ตามมาต้องได้รับการปรับเทียบเชิงประจักษ์ (empirically) และไม่สามารถใช้ได้กับทุกกรณี
  • โมเดลตัวเข้ารหัสขนาดใหญ่ต้องการหน่วยความจำ GPU การจัดเก็บเวกเตอร์ฝังตัวสำหรับเอกสารนับล้านต้องการพื้นที่ดิสก์จำนวนมาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • จับความหมายเชิงความหมายที่ถุงคำ (bag-of-words) และ TF-IDF พลาดไป เช่น คำพ้องความหมายและการถอดความ (paraphrase)
  • โมเดลที่ฝึกฝนไว้ล่วงหน้าสามารถนำไปใช้กับโดเมนใหม่ได้ทันทีโดยใช้ข้อมูลที่มีป้ายกำกับน้อยหรือไม่มีเลย
  • รวดเร็วในการอนุมาน: เมื่อเข้ารหัสแล้ว การค้นหาความคล้ายคลึงบนเวกเตอร์นับล้านจะใช้เวลาไม่กี่มิลลิวินาทีด้วยดัชนีแบบ FAISS
  • หลากหลาย: เวกเตอร์ฝังตัวชุดเดียวกันสามารถใช้สำหรับการจัดกลุ่ม การค้นคืน การกำจัดข้อมูลซ้ำซ้อนทางความหมาย และการจำแนกประเภท
  • รูปแบบหลายภาษา (เช่น paraphrase-multilingual-mpnet) จัดการความคล้ายคลึงข้ามภาษาด้วยโมเดลเดียว

การประยุกต์ใช้

  • การวัดความคล้ายคลึงทางความหมายของข้อความและการตรวจจับการถอดความในคลังข้อมูลข้อความทางวิชาการและเชิงพาณิชย์
  • การค้นคืนส่วนข้อมูลแบบหนาแน่น (Dense passage retrieval) ในระบบตอบคำถามแบบเปิด (open-domain question answering) และเครื่องมือค้นหา
  • การจัดกลุ่มเอกสารและย่อหน้าเพื่อการค้นพบหัวข้อโดยไม่มีหมวดหมู่ที่กำหนดไว้ล่วงหน้า
  • การจำแนกข้อความแบบ Zero-shot และ Few-shot โดยการเปรียบเทียบเวกเตอร์ฝังตัวกับต้นแบบป้ายกำกับ (label prototypes)
  • การตรวจจับและกำจัดข้อมูลที่ซ้ำกันเกือบทั้งหมด (Near-duplicate detection and de-duplication) ในฐานข้อมูลบรรณานุกรมขนาดใหญ่
  • การจัดตำแหน่งความหมายข้ามภาษา (Cross-lingual semantic alignment) ในการสังเคราะห์งานวิจัยหลายภาษา

วิธีการทำงาน

วิธีการทำงาน

1

ประโยคอินพุตจะถูกแบ่งออกเป็นโทเค็น (tokens) (คำย่อยหรือคำ) ตามคำศัพท์ของตัวเข้ารหัส (encoder) ซึ่งโดยทั่วไปจะเป็นตัวแบ่งโทเค็นแบบ BERT-style เช่น WordPiece หรือ SentencePiece โทเค็นพิเศษ เช่น [CLS] และ [SEP] จะถูกแทรกเพื่อระบุขอบเขตของประโยค เตรียมลำดับข้อมูลสำหรับตัวเข้ารหัส

2

ตัวเข้ารหัสแบบลึก (deep encoder) ซึ่งส่วนใหญ่มักจะเป็น Transformer ที่ฝึกฝนไว้ล่วงหน้า เช่น BERT หรือ RoBERTa จะประมวลผลลำดับโทเค็นและสร้างสถานะซ่อน (hidden state) ตามบริบทสำหรับแต่ละตำแหน่ง สถานะซ่อนแต่ละสถานะจะเก็บข้อมูลเกี่ยวกับโทเค็นนั้นๆ ในบริบทของประโยคทั้งหมด

สูตร
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d
3

สถานะซ่อนต่อโทเค็น (per-token hidden states) จะถูกรวมเข้าเป็นเวกเตอร์ขนาดคงที่เดียวผ่านการดำเนินการรวมกลุ่ม (pooling operation) การรวมกลุ่มแบบค่าเฉลี่ย (Mean-pooling) (การหาค่าเฉลี่ยของเวกเตอร์โทเค็นทั้งหมด) และการดึงค่าจากโทเค็น [CLS] (CLS-token extraction) เป็นสองทางเลือกที่พบบ่อยที่สุด Sentence-BERT แสดงให้เห็นว่าการทำ mean-pooling เหนือสถานะโทเค็นทั้งหมดให้ผลลัพธ์ที่ดีกว่าเวกเตอร์ [CLS] ดิบอย่างสม่ำเสมอ

4

เพื่อให้ได้เวกเตอร์ฝังตัวที่มีคุณภาพสูง ตัวเข้ารหัสจะถูกปรับแต่ง (fine-tuned) ด้วยวัตถุประสงค์แบบคอนทราสทีฟ (contrastive) หรือการวัดความคล้ายคลึงทางความหมาย (semantic-similarity) Sentence-BERT ใช้โครงข่ายแบบ Siamese (Siamese network) ที่ฝึกฝนด้วยคู่ข้อมูลการอนุมานภาษาธรรมชาติ (natural-language inference pairs) โดยผลักดันให้ประโยคที่มีความหมายคล้ายกันเข้ามาใกล้กัน และประโยคที่ต่างกันให้ออกห่างกันในปริภูมิเวกเตอร์ฝังตัว

5

ในเวลาอนุมาน (inference time) เวกเตอร์ของประโยคสองประโยคจะถูกเปรียบเทียบด้วยความคล้ายคลึงโคไซน์ (cosine similarity): ผลคูณจุด (dot product) ของเวกเตอร์ที่ทำให้เป็นบรรทัดฐานแล้ว (unit-normalised vectors) คะแนนที่ใกล้เคียง 1 บ่งชี้ถึงความเทียบเท่าทางความหมาย (semantic equivalence) คะแนนที่ใกล้เคียง 0 บ่งชี้ถึงความเป็นแนวฉาก (orthogonality) ตัวเลขเดี่ยวนี้ขับเคลื่อนงานการค้นคืน การกำจัดข้อมูลซ้ำซ้อน การจัดกลุ่ม และการจำแนกประเภท

สูตร
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}

ข้อผิดพลาดที่พบบ่อย

  • การใช้โทเค็น [CLS] ดิบจากโมเดล BERT พื้นฐานเป็น Sentence Embedding โดยไม่มีการปรับแต่ง ซึ่งให้ผลลัพธ์คุณภาพต่ำและไม่เป็นไอโซโทรปิก (non-isotropic)
  • การเปรียบเทียบเวกเตอร์ฝังตัวที่สร้างจากสถาปัตยกรรมตัวเข้ารหัสหรือกลยุทธ์การรวมกลุ่มที่แตกต่างกัน ซึ่งทำให้คะแนนโคไซน์ไม่สามารถเปรียบเทียบกันได้
  • การเลือกเกณฑ์ความคล้ายคลึง (เช่น 0.85 หมายถึง 'ซ้ำ') โดยไม่ได้ปรับเทียบกับข้อมูลที่แยกไว้ (held-out data) จากโดเมนของคุณ
  • การละเลยความจำเป็นในการทำให้เวกเตอร์เป็นบรรทัดฐานก่อนคำนวณความคล้ายคลึงโคไซน์เมื่อใช้ดัชนีการค้นหาแบบ dot-product เท่านั้น
  • การปฏิบัติต่อเวกเตอร์ฝังตัวเสมือนว่าเป็นสิ่งที่ตีความได้: มิติแต่ละมิติไม่มีความหมายเชิงความหมายในตัวเอง

คำถามที่พบบ่อย

ควรเลือกใช้โมเดลที่ฝึกฝนไว้ล่วงหน้าตัวใด?

สำหรับงานทั่วไปที่เกี่ยวกับภาษาอังกฤษ 'all-mpnet-base-v2' จากไลบรารี sentence-transformers เป็นตัวเลือกเริ่มต้นที่ดี สำหรับงานหลายภาษา 'paraphrase-multilingual-mpnet-base-v2' ครอบคลุมกว่า 50 ภาษา ควรทำการทดสอบประสิทธิภาพ (benchmark) บนตัวอย่างข้อมูลจากโดเมนเป้าหมายของคุณเสมอ ก่อนที่จะตัดสินใจเลือกโมเดล

สิ่งนี้แตกต่างจากการใช้ BERT โดยตรงอย่างไร?

BERT มาตรฐานสร้างการแทนค่าต่อโทเค็นที่ปรับให้เหมาะสมสำหรับงานระดับโทเค็น การใช้ผลลัพธ์ดิบ (เช่น เวกเตอร์ [CLS]) เป็น Sentence Embedding ให้ผลลัพธ์ความคล้ายคลึงโคไซน์ที่ไม่ดี Sentence-BERT ปรับแต่ง BERT ด้วยวัตถุประสงค์แบบคอนทราสทีฟ เพื่อให้เวกเตอร์ที่ได้ถูกจัดโครงสร้างอย่างชัดเจนสำหรับการเปรียบเทียบระดับประโยค

ต้องใช้ตัวอย่างที่มีป้ายกำกับกี่ตัว?

โมเดล Sentence Embedding ที่พร้อมใช้งานจากไลบรารี sentence-transformers ไม่ต้องการตัวอย่างที่มีป้ายกำกับเลยสำหรับการอนุมาน หากคุณทำการปรับแต่งสำหรับโดเมนของคุณ แม้เพียงไม่กี่ร้อยคู่ประโยคที่มีป้ายกำกับความคล้ายคลึงก็สามารถปรับปรุงประสิทธิภาพได้อย่างเห็นได้ชัด

สามารถใช้ Sentence Embeddings กับเอกสารยาวๆ ได้หรือไม่?

ตัวเข้ารหัสส่วนใหญ่มีขีดจำกัดโทเค็น (512 โทเค็นสำหรับโมเดลที่ใช้ BERT เป็นพื้นฐาน) สำหรับข้อความที่ยาวกว่า คุณสามารถแบ่งเอกสารออกเป็นประโยคหรือย่อหน้า ฝังแต่ละส่วนย่อย แล้วรวมเวกเตอร์ของส่วนย่อยเหล่านั้นเข้าด้วยกัน หรืออีกทางหนึ่ง โมเดลอย่าง Longformer สามารถจัดการกับบริบทที่ยาวขึ้นได้โดยตรง

จะประเมินคุณภาพของเวกเตอร์ฝังตัวได้อย่างไร?

เกณฑ์มาตรฐานทั่วไป ได้แก่ STS-B (Semantic Textual Similarity Benchmark) และ MTEB (Massive Text Embedding Benchmark) บนข้อมูลของคุณเอง คู่ประโยคที่มนุษย์ให้คะแนนความคล้ายคลึงกัน ช่วยให้คุณคำนวณสหสัมพันธ์ของสเปียร์แมน (Spearman correlation) ระหว่างคะแนนของโมเดลกับการตัดสินของมนุษย์

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว