Sentence Embeddings
- ผู้เสนอ
- Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
- ปี
- 2015–2019
- ประเภท
- Representation learning / embedding
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Sentence Embeddings แปลงประโยคหรือข้อความสั้นๆ ให้เป็นเวกเตอร์ความยาวคงที่แบบหนาแน่น (dense vector) ที่จับความหมายเชิงความหมาย (semantic meaning) ของประโยคนั้นๆ เวกเตอร์เหล่านี้ช่วยให้งานที่ตามมา เช่น การวัดความคล้ายคลึงทางความหมาย (semantic similarity), การจัดกลุ่ม (clustering), การค้นคืน (retrieval) และการจำแนกประเภท (classification) สามารถทำงานกับข้อมูลเชิงตัวเลขแทนที่จะเป็นข้อความดิบได้ ทำให้เป็นหนึ่งในส่วนประกอบที่หลากหลายที่สุดในไปป์ไลน์ NLP สมัยใหม่
แนวคิดเบื้องหลังวิธีการ
ลองจินตนาการว่าแต่ละประโยคเปรียบเสมือนจุดหนึ่งในปริภูมิหลายมิติ (high-dimensional space) โดยความหมายเป็นตัวกำหนดความใกล้เคียง: สองประโยคที่มีความหมายเหมือนกันแต่ใช้คำต่างกันจะอยู่ใกล้กันมาก ในขณะที่ประโยคที่ไม่เกี่ยวข้องกันจะอยู่ห่างกัน โมเดล Sentence Embedding เรียนรู้เรขาคณิตนี้จากคลังข้อมูลขนาดใหญ่ เมื่อโมเดลได้รับการฝึกฝนแล้ว การแปลงประโยคใหม่เป็นเวกเตอร์ก็คือการส่งข้อมูลผ่านโมเดลเพียงครั้งเดียว (single forward pass) โดยไม่ต้องฝึกฝนเพิ่มเติม และงานใดๆ ที่ตามมาก็สามารถทำงานกับพิกัดเหล่านี้ได้โดยตรง การนำเรขาคณิตที่ฝึกฝนไว้ล่วงหน้ามาใช้ซ้ำนี้เองที่ทำให้ Sentence Embeddings มีประสิทธิภาพ: คุณสามารถเปรียบเทียบ จัดกลุ่ม หรือจำแนกข้อความจำนวนนับล้านโดยไม่ต้องใช้ป้ายกำกับเฉพาะสำหรับแต่ละงาน
ประวัติศาสตร์
การแทนประโยคยุคแรกๆ ใช้เวกเตอร์คำเฉลี่ย (word2vec, GloVe) Skip-Thought Vectors (Kiros et al., 2015) ฝึกฝนตัวเข้ารหัส-ตัวถอดรหัสเพื่อทำนายประโยคข้างเคียง สร้าง Sentence Embedding เชิงบริบทแบบลึกชุดแรก InferSent (Conneau et al., 2017) ปรับแต่งด้วยคู่ NLI และแสดงการถ่ายโอนความรู้ที่ดี Sentence-BERT (Reimers & Gurevych, 2019) นำสถาปัตยกรรม Siamese BERT มาใช้กับข้อมูล NLI และปรับปรุงคุณภาพของเวกเตอร์ฝังตัวที่ได้จาก BERT อย่างมาก พร้อมทั้งลดเวลาในการคำนวณความคล้ายคลึงจาก 65 ชั่วโมงเหลือประมาณ 5 วินาทีสำหรับคู่ประโยค 10,000 คู่
ควรใช้เมื่อใด
ใช้ Sentence Embeddings เมื่อคุณต้องการวัดความคล้ายคลึงทางความหมาย จัดกลุ่มเอกสาร ทำการค้นคืนแบบหนาแน่น (dense retrieval) หรือป้อนข้อความเข้าสู่ตัวจำแนกประเภทโดยไม่มีป้ายกำกับเฉพาะสำหรับแต่ละตัวอย่าง งานเหล่านี้จะทำได้ดีเมื่อคุณมีข้อความปริมาณปานกลางถึงมาก และต้องการการแทนค่าแบบทั่วไปที่สามารถนำไปใช้กับงานต่างๆ ได้ อย่าใช้ Sentence Embeddings ดิบๆ (โดยไม่มีการปรับแต่งหรือส่วนหัวเฉพาะงาน) เมื่อคุณต้องการความน่าจะเป็นที่ปรับเทียบแล้ว (calibrated probabilities) หรือน้ำหนักคุณลักษณะที่ตีความได้ (interpretable feature weights) นอกจากนี้ยังไม่เหมาะสำหรับข้อความที่สั้นมาก (หนึ่งหรือสองคำ) สำหรับภาษาที่ไม่มีตัวเข้ารหัสที่ฝึกฝนไว้ล่วงหน้า หรือเมื่อทรัพยากรคอมพิวเตอร์มีจำกัดอย่างมาก เนื่องจากกระบวนการเข้ารหัสเอกสารยาวๆ จำนวนนับล้านอาจมีค่าใช้จ่ายสูง
ข้อจำกัดและข้อควรพิจารณา
- คุณภาพของเวกเตอร์ฝังตัวขึ้นอยู่กับคุณภาพและโดเมนของโมเดลที่ฝึกฝนไว้ล่วงหน้าอย่างมาก ข้อความนอกโดเมนทำให้ประสิทธิภาพลดลง
- การแทนเอกสารยาวๆ ด้วยเวกเตอร์คงที่เดียวจะสูญเสียข้อมูลเฉพาะจุด (fine-grained local information)
- เกณฑ์ความคล้ายคลึงโคไซน์สำหรับการตัดสินใจในงานที่ตามมาต้องได้รับการปรับเทียบเชิงประจักษ์ (empirically) และไม่สามารถใช้ได้กับทุกกรณี
- โมเดลตัวเข้ารหัสขนาดใหญ่ต้องการหน่วยความจำ GPU การจัดเก็บเวกเตอร์ฝังตัวสำหรับเอกสารนับล้านต้องการพื้นที่ดิสก์จำนวนมาก
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จับความหมายเชิงความหมายที่ถุงคำ (bag-of-words) และ TF-IDF พลาดไป เช่น คำพ้องความหมายและการถอดความ (paraphrase)
- โมเดลที่ฝึกฝนไว้ล่วงหน้าสามารถนำไปใช้กับโดเมนใหม่ได้ทันทีโดยใช้ข้อมูลที่มีป้ายกำกับน้อยหรือไม่มีเลย
- รวดเร็วในการอนุมาน: เมื่อเข้ารหัสแล้ว การค้นหาความคล้ายคลึงบนเวกเตอร์นับล้านจะใช้เวลาไม่กี่มิลลิวินาทีด้วยดัชนีแบบ FAISS
- หลากหลาย: เวกเตอร์ฝังตัวชุดเดียวกันสามารถใช้สำหรับการจัดกลุ่ม การค้นคืน การกำจัดข้อมูลซ้ำซ้อนทางความหมาย และการจำแนกประเภท
- รูปแบบหลายภาษา (เช่น paraphrase-multilingual-mpnet) จัดการความคล้ายคลึงข้ามภาษาด้วยโมเดลเดียว
การประยุกต์ใช้
- การวัดความคล้ายคลึงทางความหมายของข้อความและการตรวจจับการถอดความในคลังข้อมูลข้อความทางวิชาการและเชิงพาณิชย์
- การค้นคืนส่วนข้อมูลแบบหนาแน่น (Dense passage retrieval) ในระบบตอบคำถามแบบเปิด (open-domain question answering) และเครื่องมือค้นหา
- การจัดกลุ่มเอกสารและย่อหน้าเพื่อการค้นพบหัวข้อโดยไม่มีหมวดหมู่ที่กำหนดไว้ล่วงหน้า
- การจำแนกข้อความแบบ Zero-shot และ Few-shot โดยการเปรียบเทียบเวกเตอร์ฝังตัวกับต้นแบบป้ายกำกับ (label prototypes)
- การตรวจจับและกำจัดข้อมูลที่ซ้ำกันเกือบทั้งหมด (Near-duplicate detection and de-duplication) ในฐานข้อมูลบรรณานุกรมขนาดใหญ่
- การจัดตำแหน่งความหมายข้ามภาษา (Cross-lingual semantic alignment) ในการสังเคราะห์งานวิจัยหลายภาษา
วิธีการทำงาน
วิธีการทำงาน
ประโยคอินพุตจะถูกแบ่งออกเป็นโทเค็น (tokens) (คำย่อยหรือคำ) ตามคำศัพท์ของตัวเข้ารหัส (encoder) ซึ่งโดยทั่วไปจะเป็นตัวแบ่งโทเค็นแบบ BERT-style เช่น WordPiece หรือ SentencePiece โทเค็นพิเศษ เช่น [CLS] และ [SEP] จะถูกแทรกเพื่อระบุขอบเขตของประโยค เตรียมลำดับข้อมูลสำหรับตัวเข้ารหัส
ตัวเข้ารหัสแบบลึก (deep encoder) ซึ่งส่วนใหญ่มักจะเป็น Transformer ที่ฝึกฝนไว้ล่วงหน้า เช่น BERT หรือ RoBERTa จะประมวลผลลำดับโทเค็นและสร้างสถานะซ่อน (hidden state) ตามบริบทสำหรับแต่ละตำแหน่ง สถานะซ่อนแต่ละสถานะจะเก็บข้อมูลเกี่ยวกับโทเค็นนั้นๆ ในบริบทของประโยคทั้งหมด
สูตร
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^dสถานะซ่อนต่อโทเค็น (per-token hidden states) จะถูกรวมเข้าเป็นเวกเตอร์ขนาดคงที่เดียวผ่านการดำเนินการรวมกลุ่ม (pooling operation) การรวมกลุ่มแบบค่าเฉลี่ย (Mean-pooling) (การหาค่าเฉลี่ยของเวกเตอร์โทเค็นทั้งหมด) และการดึงค่าจากโทเค็น [CLS] (CLS-token extraction) เป็นสองทางเลือกที่พบบ่อยที่สุด Sentence-BERT แสดงให้เห็นว่าการทำ mean-pooling เหนือสถานะโทเค็นทั้งหมดให้ผลลัพธ์ที่ดีกว่าเวกเตอร์ [CLS] ดิบอย่างสม่ำเสมอ
เพื่อให้ได้เวกเตอร์ฝังตัวที่มีคุณภาพสูง ตัวเข้ารหัสจะถูกปรับแต่ง (fine-tuned) ด้วยวัตถุประสงค์แบบคอนทราสทีฟ (contrastive) หรือการวัดความคล้ายคลึงทางความหมาย (semantic-similarity) Sentence-BERT ใช้โครงข่ายแบบ Siamese (Siamese network) ที่ฝึกฝนด้วยคู่ข้อมูลการอนุมานภาษาธรรมชาติ (natural-language inference pairs) โดยผลักดันให้ประโยคที่มีความหมายคล้ายกันเข้ามาใกล้กัน และประโยคที่ต่างกันให้ออกห่างกันในปริภูมิเวกเตอร์ฝังตัว
ในเวลาอนุมาน (inference time) เวกเตอร์ของประโยคสองประโยคจะถูกเปรียบเทียบด้วยความคล้ายคลึงโคไซน์ (cosine similarity): ผลคูณจุด (dot product) ของเวกเตอร์ที่ทำให้เป็นบรรทัดฐานแล้ว (unit-normalised vectors) คะแนนที่ใกล้เคียง 1 บ่งชี้ถึงความเทียบเท่าทางความหมาย (semantic equivalence) คะแนนที่ใกล้เคียง 0 บ่งชี้ถึงความเป็นแนวฉาก (orthogonality) ตัวเลขเดี่ยวนี้ขับเคลื่อนงานการค้นคืน การกำจัดข้อมูลซ้ำซ้อน การจัดกลุ่ม และการจำแนกประเภท
สูตร
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}ข้อผิดพลาดที่พบบ่อย
- การใช้โทเค็น [CLS] ดิบจากโมเดล BERT พื้นฐานเป็น Sentence Embedding โดยไม่มีการปรับแต่ง ซึ่งให้ผลลัพธ์คุณภาพต่ำและไม่เป็นไอโซโทรปิก (non-isotropic)
- การเปรียบเทียบเวกเตอร์ฝังตัวที่สร้างจากสถาปัตยกรรมตัวเข้ารหัสหรือกลยุทธ์การรวมกลุ่มที่แตกต่างกัน ซึ่งทำให้คะแนนโคไซน์ไม่สามารถเปรียบเทียบกันได้
- การเลือกเกณฑ์ความคล้ายคลึง (เช่น 0.85 หมายถึง 'ซ้ำ') โดยไม่ได้ปรับเทียบกับข้อมูลที่แยกไว้ (held-out data) จากโดเมนของคุณ
- การละเลยความจำเป็นในการทำให้เวกเตอร์เป็นบรรทัดฐานก่อนคำนวณความคล้ายคลึงโคไซน์เมื่อใช้ดัชนีการค้นหาแบบ dot-product เท่านั้น
- การปฏิบัติต่อเวกเตอร์ฝังตัวเสมือนว่าเป็นสิ่งที่ตีความได้: มิติแต่ละมิติไม่มีความหมายเชิงความหมายในตัวเอง
คำถามที่พบบ่อย
ควรเลือกใช้โมเดลที่ฝึกฝนไว้ล่วงหน้าตัวใด?
สำหรับงานทั่วไปที่เกี่ยวกับภาษาอังกฤษ 'all-mpnet-base-v2' จากไลบรารี sentence-transformers เป็นตัวเลือกเริ่มต้นที่ดี สำหรับงานหลายภาษา 'paraphrase-multilingual-mpnet-base-v2' ครอบคลุมกว่า 50 ภาษา ควรทำการทดสอบประสิทธิภาพ (benchmark) บนตัวอย่างข้อมูลจากโดเมนเป้าหมายของคุณเสมอ ก่อนที่จะตัดสินใจเลือกโมเดล
สิ่งนี้แตกต่างจากการใช้ BERT โดยตรงอย่างไร?
BERT มาตรฐานสร้างการแทนค่าต่อโทเค็นที่ปรับให้เหมาะสมสำหรับงานระดับโทเค็น การใช้ผลลัพธ์ดิบ (เช่น เวกเตอร์ [CLS]) เป็น Sentence Embedding ให้ผลลัพธ์ความคล้ายคลึงโคไซน์ที่ไม่ดี Sentence-BERT ปรับแต่ง BERT ด้วยวัตถุประสงค์แบบคอนทราสทีฟ เพื่อให้เวกเตอร์ที่ได้ถูกจัดโครงสร้างอย่างชัดเจนสำหรับการเปรียบเทียบระดับประโยค
ต้องใช้ตัวอย่างที่มีป้ายกำกับกี่ตัว?
โมเดล Sentence Embedding ที่พร้อมใช้งานจากไลบรารี sentence-transformers ไม่ต้องการตัวอย่างที่มีป้ายกำกับเลยสำหรับการอนุมาน หากคุณทำการปรับแต่งสำหรับโดเมนของคุณ แม้เพียงไม่กี่ร้อยคู่ประโยคที่มีป้ายกำกับความคล้ายคลึงก็สามารถปรับปรุงประสิทธิภาพได้อย่างเห็นได้ชัด
สามารถใช้ Sentence Embeddings กับเอกสารยาวๆ ได้หรือไม่?
ตัวเข้ารหัสส่วนใหญ่มีขีดจำกัดโทเค็น (512 โทเค็นสำหรับโมเดลที่ใช้ BERT เป็นพื้นฐาน) สำหรับข้อความที่ยาวกว่า คุณสามารถแบ่งเอกสารออกเป็นประโยคหรือย่อหน้า ฝังแต่ละส่วนย่อย แล้วรวมเวกเตอร์ของส่วนย่อยเหล่านั้นเข้าด้วยกัน หรืออีกทางหนึ่ง โมเดลอย่าง Longformer สามารถจัดการกับบริบทที่ยาวขึ้นได้โดยตรง
จะประเมินคุณภาพของเวกเตอร์ฝังตัวได้อย่างไร?
เกณฑ์มาตรฐานทั่วไป ได้แก่ STS-B (Semantic Textual Similarity Benchmark) และ MTEB (Massive Text Embedding Benchmark) บนข้อมูลของคุณเอง คู่ประโยคที่มนุษย์ให้คะแนนความคล้ายคลึงกัน ช่วยให้คุณคำนวณสหสัมพันธ์ของสเปียร์แมน (Spearman correlation) ระหว่างคะแนนของโมเดลกับการตัดสินของมนุษย์
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วKiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว