BERT Embeddings — การแทนความหมายข้อความตามบริบท
- ผู้เสนอ
- Devlin, Chang, Lee & Toutanova (Google AI)
- ปี
- 2019
- ประเภท
- Contextual transformer text-representation method
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การฝังข้อความ (text embeddings) แบบ BERT ซึ่งเปิดตัวโดย Devlin และคณะจาก Google AI ในปี 2019 ได้แปลงข้อความให้เป็นเวกเตอร์หนาแน่น (dense vectors) ที่ไวต่อบริบท โดยใช้ตัวเข้ารหัส Transformer แบบสองทิศทาง (bidirectional Transformer encoder) เนื่องจากความหมายของคำเปลี่ยนแปลงไปตามบริบท BERT จึงสร้างการแทนความหมายที่สมบูรณ์กว่าวิธีการแบบคงที่ (static methods) เช่น Word2Vec หรือแบบจำลองหัวข้อ (topic models) เช่น LDA
แนวคิดเบื้องหลังวิธีการ
คำอย่าง "bank" มีความหมายต่างกันเมื่ออยู่ริมแม่น้ำหรือในแวดวงการเงิน แต่ด้วยวิธีการฝังแบบเดิมๆ คำนี้จะได้รับเวกเตอร์เดียวที่ตายตัวโดยไม่คำนึงถึงบริบทที่ปรากฏ BERT อ่านแต่ละคำร่วมกับคำรอบข้าง ดังนั้นคำเดียวกันจึงได้รับเวกเตอร์ที่แตกต่างกัน ขึ้นอยู่กับประโยค การอ่านตามบริบทนี้เองที่ทำให้การฝังความหมายสามารถจับความหมายที่เวกเตอร์คำแบบคงที่พลาดไปได้
ประวัติศาสตร์
BERT เปิดตัวโดย Devlin, Chang, Lee และ Toutanova (2019) ซึ่งได้ฝึกฝน Transformer แบบสองทิศทางเชิงลึก (deep bidirectional Transformer) บนคลังข้อความขนาดใหญ่ และแสดงผลลัพธ์ที่แข็งแกร่งในงานทำความเข้าใจภาษาหลายงาน ต่อมางานตรวจสอบโดย Tenney และคณะ (2019) แสดงให้เห็นว่า BERT สามารถค้นพบขั้นตอนต่างๆ ของไปป์ไลน์ NLP แบบดั้งเดิมภายในตัวเองได้ ซึ่งช่วยอธิบายได้ว่าทำไมการฝังความหมายตามบริบทของมันจึงมีข้อมูลทางภาษาที่สมบูรณ์เช่นนี้
ควรใช้เมื่อใด
การฝังความหมายแบบ BERT เหมาะสมเมื่อคุณมีข้อมูลข้อความและต้องการการแทนความหมายที่คำนึงถึงบริบท และเมื่อแบบจำลองที่ฝึกฝนล่วงหน้าตรงกับภาษาและสาขาของคลังข้อมูลนั้นๆ เหมาะสำหรับวัตถุประสงค์ในการอธิบาย การจำแนกประเภท และการวิเคราะห์ความสัมพันธ์ ด้วยเอกสารน้อยกว่าประมาณ 100 ฉบับ การปรับแต่งแบบจำลองจึงไม่สามารถทำได้ — ควรเลือกใช้การฝังความหมายแบบคงที่ที่ฝึกฝนล่วงหน้า เช่น GloVe — และหากไม่มีข้อมูลข้อความเลย การฝังความหมายแบบ BERT ก็ไม่สามารถสร้างขึ้นได้
ข้อจำกัดและข้อควรพิจารณา
- ต้องเลือกแบบจำลองที่เหมาะสม — แบบหลายภาษาหรือเฉพาะทาง — เพื่อให้ตรงกับคลังข้อมูล
- แนะนำให้ใช้ GPU สำหรับชุดข้อมูลขนาดใหญ่ เนื่องจากกระบวนการเข้ารหัสต้องใช้พลังการประมวลผลสูง
- การปรับแต่งแบบจำลองไม่สามารถทำได้บนคลังข้อมูลขนาดเล็กมาก (ต่ำกว่าประมาณ 100 เอกสาร)
- การฝังความหมายมีมิติสูงและตีความได้ยากกว่าคุณลักษณะที่อิงตามความถี่หรือพจนานุกรม
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ไวต่อบริบท: คำเดียวกันได้รับเวกเตอร์ที่แตกต่างกัน ขึ้นอยู่กับข้อความรอบข้าง
- การแทนความหมายที่สมบูรณ์กว่าวิธีการแบบคงที่ เช่น Word2Vec หรือแบบจำลองหัวข้อ เช่น LDA
- การเข้ารหัสแบบสองทิศทางอ่านแต่ละโทเค็นโดยพิจารณาจากบริบททั้งหมดทั้งสองด้าน
- แบบจำลองที่ฝึกฝนล่วงหน้าครอบคลุมหลายภาษาและสาขาเฉพาะทาง ดังนั้นการวิเคราะห์สามารถเริ่มต้นได้โดยไม่ต้องฝึกฝนตั้งแต่ต้น
การประยุกต์ใช้
- การจำแนกประเภทข้อความโดยใช้การแทนความหมายเอกสารที่คำนึงถึงบริบท
- การวัดความคล้ายคลึงทางความหมายระหว่างเอกสารหรือข้อความ
- การวิเคราะห์ความสัมพันธ์และคำอธิบายเกี่ยวกับข้อความที่ความหมายของคำขึ้นอยู่กับบริบท
- การสร้างคุณลักษณะสำหรับแบบจำลอง NLP ปลายน้ำในงานวิจัยด้านสุขภาพ สังคมศาสตร์ เศรษฐศาสตร์ และธุรกิจ
วิธีการทำงาน
วิธีการทำงาน
จะเลือกแบบจำลอง BERT ที่ฝึกฝนล่วงหน้า (pretrained BERT model) ที่เหมาะสมเพื่อจับคู่กับคลังข้อมูล (corpus) — แบบจำลองหลายภาษาสำหรับข้อความที่ไม่ใช่ภาษาอังกฤษหรือภาษาผสม หรือแบบจำลองเฉพาะทางเมื่อข้อความมาจากสาขาเฉพาะทาง การเลือกแบบจำลองที่ตรงกับภาษาและสาขาของคลังข้อมูลคือการตัดสินใจที่ส่งผลต่อคุณภาพของการฝังความหมายมากที่สุด
เอกสารแต่ละฉบับจะถูกแบ่งออกเป็นโทเค็นย่อย (sub-word tokens) ตามที่แบบจำลองที่เลือกคาดหวัง การแบ่งโทเค็น (Tokenisation) จะแยกคำออกเป็นหน่วยที่แบบจำลองได้รับการฝึกฝนล่วงหน้า ดังนั้นแม้แต่คำที่ไม่คุ้นเคยหรือคำประสมก็สามารถถูกแทนความหมายได้
ตัวเข้ารหัส Transformer แบบสองทิศทางจะประมวลผลโทเค็นต่างๆ และสร้างเวกเตอร์ที่ไวต่อบริบทสำหรับแต่ละโทเค็น โดยอ่านแต่ละโทเค็นโดยพิจารณาจากข้อความรอบข้าง คำเดียวกันจะให้เวกเตอร์ที่แตกต่างกันในบริบทที่แตกต่างกัน ซึ่งเป็นสิ่งที่ทำให้การแทนความหมายมีความสมบูรณ์
การฝังความหมายที่ได้จะป้อนเข้าสู่งานปลายน้ำ (downstream tasks) — การจำแนกประเภท (classification) ความคล้ายคลึง (similarity) หรือการวิเคราะห์ความสัมพันธ์ (relationship analysis) และสำหรับคลังข้อมูลขนาดใหญ่ แบบจำลองสามารถปรับแต่ง (fine-tuned) ให้เข้ากับงานได้ แนะนำให้ใช้ GPU สำหรับชุดข้อมูลขนาดใหญ่ เนื่องจากกระบวนการเข้ารหัสเอกสารจำนวนมากต้องใช้พลังการประมวลผลสูง
ข้อผิดพลาดที่พบบ่อย
- การใช้แบบจำลองภาษาอังกฤษกับข้อความในภาษาอื่นจะทำให้คุณภาพลดลง เลือกแบบจำลองหลายภาษาหรือแบบจำลองที่ตรงกัน
- การปรับแต่ง BERT บนชุดข้อมูลขนาดเล็ก (ต่ำกว่าประมาณ 100 เอกสาร) ไม่ได้ผล — ให้กลับไปใช้การฝังความหมายแบบคงที่ที่ฝึกฝนล่วงหน้า เช่น GloVe
- หากไม่มีข้อมูลข้อความเลย การฝังความหมายแบบ BERT จะไม่สามารถสร้างขึ้นได้ — พิจารณาการจัดกลุ่ม (clustering) บนข้อมูลที่มีโครงสร้างแทน
- การเข้ารหัสคลังข้อมูลขนาดใหญ่โดยไม่มี GPU อาจช้าเกินไป
คำถามที่พบบ่อย
BERT แตกต่างจาก Word2Vec หรือ GloVe อย่างไร?
Word2Vec และ GloVe กำหนดเวกเตอร์คงที่เพียงเวกเตอร์เดียวให้กับแต่ละคำโดยไม่คำนึงถึงบริบท BERT เป็นแบบตามบริบท: มันอ่านแต่ละคำร่วมกับข้อความรอบข้างและสร้างเวกเตอร์ที่แตกต่างกันสำหรับคำเดียวกันในประโยคที่แตกต่างกัน ซึ่งจับความหมายที่การฝังความหมายแบบคงที่พลาดไป
ต้องใช้ข้อความปริมาณเท่าใด?
การสร้างการฝังความหมายจากแบบจำลองที่ฝึกฝนล่วงหน้าสามารถทำงานได้แม้ในคลังข้อมูลขนาดเล็ก (ประมาณสิบเอกสารขึ้นไป) อย่างไรก็ตาม การปรับแต่งแบบจำลองให้เข้ากับงานของคุณนั้นต้องการชุดข้อมูลที่ใหญ่กว่า — หากมีเอกสารน้อยกว่าประมาณ 100 ฉบับ ควรเลือกใช้การฝังความหมายแบบคงที่ที่ฝึกฝนล่วงหน้า เช่น GloVe แทน
จำเป็นต้องใช้ GPU หรือไม่?
ไม่จำเป็นสำหรับชุดข้อมูลขนาดเล็ก แต่แนะนำให้ใช้ GPU สำหรับชุดข้อมูลขนาดใหญ่ เนื่องจากกระบวนการเข้ารหัสเอกสารจำนวนมากผ่าน Transformer ต้องใช้พลังการประมวลผลสูงและอาจช้ามากบน CPU
BERT สามารถจัดการภาษาอื่นนอกเหนือจากภาษาอังกฤษได้หรือไม่?
ได้ โดยต้องเลือกแบบจำลองที่ตรงกัน — แบบจำลองหลายภาษา หรือแบบจำลองที่ฝึกฝนสำหรับภาษาหรือสาขาเฉพาะของคลังข้อมูลของคุณ การใช้แบบจำลองที่ใช้เฉพาะภาษาอังกฤษกับข้อความในภาษาอื่นเป็นสาเหตุทั่วไปของผลลัพธ์ที่ไม่ดี
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วTenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว