Skip to content
กลับไปยังผลการค้นหา

BERT Embeddings — การแทนความหมายข้อความตามบริบท

ผู้เสนอ
Devlin, Chang, Lee & Toutanova (Google AI)
ปี
2019
ประเภท
Contextual transformer text-representation method

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การฝังข้อความ (text embeddings) แบบ BERT ซึ่งเปิดตัวโดย Devlin และคณะจาก Google AI ในปี 2019 ได้แปลงข้อความให้เป็นเวกเตอร์หนาแน่น (dense vectors) ที่ไวต่อบริบท โดยใช้ตัวเข้ารหัส Transformer แบบสองทิศทาง (bidirectional Transformer encoder) เนื่องจากความหมายของคำเปลี่ยนแปลงไปตามบริบท BERT จึงสร้างการแทนความหมายที่สมบูรณ์กว่าวิธีการแบบคงที่ (static methods) เช่น Word2Vec หรือแบบจำลองหัวข้อ (topic models) เช่น LDA

แนวคิดเบื้องหลังวิธีการ

คำอย่าง "bank" มีความหมายต่างกันเมื่ออยู่ริมแม่น้ำหรือในแวดวงการเงิน แต่ด้วยวิธีการฝังแบบเดิมๆ คำนี้จะได้รับเวกเตอร์เดียวที่ตายตัวโดยไม่คำนึงถึงบริบทที่ปรากฏ BERT อ่านแต่ละคำร่วมกับคำรอบข้าง ดังนั้นคำเดียวกันจึงได้รับเวกเตอร์ที่แตกต่างกัน ขึ้นอยู่กับประโยค การอ่านตามบริบทนี้เองที่ทำให้การฝังความหมายสามารถจับความหมายที่เวกเตอร์คำแบบคงที่พลาดไปได้

ประวัติศาสตร์

BERT เปิดตัวโดย Devlin, Chang, Lee และ Toutanova (2019) ซึ่งได้ฝึกฝน Transformer แบบสองทิศทางเชิงลึก (deep bidirectional Transformer) บนคลังข้อความขนาดใหญ่ และแสดงผลลัพธ์ที่แข็งแกร่งในงานทำความเข้าใจภาษาหลายงาน ต่อมางานตรวจสอบโดย Tenney และคณะ (2019) แสดงให้เห็นว่า BERT สามารถค้นพบขั้นตอนต่างๆ ของไปป์ไลน์ NLP แบบดั้งเดิมภายในตัวเองได้ ซึ่งช่วยอธิบายได้ว่าทำไมการฝังความหมายตามบริบทของมันจึงมีข้อมูลทางภาษาที่สมบูรณ์เช่นนี้

ควรใช้เมื่อใด

การฝังความหมายแบบ BERT เหมาะสมเมื่อคุณมีข้อมูลข้อความและต้องการการแทนความหมายที่คำนึงถึงบริบท และเมื่อแบบจำลองที่ฝึกฝนล่วงหน้าตรงกับภาษาและสาขาของคลังข้อมูลนั้นๆ เหมาะสำหรับวัตถุประสงค์ในการอธิบาย การจำแนกประเภท และการวิเคราะห์ความสัมพันธ์ ด้วยเอกสารน้อยกว่าประมาณ 100 ฉบับ การปรับแต่งแบบจำลองจึงไม่สามารถทำได้ — ควรเลือกใช้การฝังความหมายแบบคงที่ที่ฝึกฝนล่วงหน้า เช่น GloVe — และหากไม่มีข้อมูลข้อความเลย การฝังความหมายแบบ BERT ก็ไม่สามารถสร้างขึ้นได้

ข้อจำกัดและข้อควรพิจารณา

  • ต้องเลือกแบบจำลองที่เหมาะสม — แบบหลายภาษาหรือเฉพาะทาง — เพื่อให้ตรงกับคลังข้อมูล
  • แนะนำให้ใช้ GPU สำหรับชุดข้อมูลขนาดใหญ่ เนื่องจากกระบวนการเข้ารหัสต้องใช้พลังการประมวลผลสูง
  • การปรับแต่งแบบจำลองไม่สามารถทำได้บนคลังข้อมูลขนาดเล็กมาก (ต่ำกว่าประมาณ 100 เอกสาร)
  • การฝังความหมายมีมิติสูงและตีความได้ยากกว่าคุณลักษณะที่อิงตามความถี่หรือพจนานุกรม

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ไวต่อบริบท: คำเดียวกันได้รับเวกเตอร์ที่แตกต่างกัน ขึ้นอยู่กับข้อความรอบข้าง
  • การแทนความหมายที่สมบูรณ์กว่าวิธีการแบบคงที่ เช่น Word2Vec หรือแบบจำลองหัวข้อ เช่น LDA
  • การเข้ารหัสแบบสองทิศทางอ่านแต่ละโทเค็นโดยพิจารณาจากบริบททั้งหมดทั้งสองด้าน
  • แบบจำลองที่ฝึกฝนล่วงหน้าครอบคลุมหลายภาษาและสาขาเฉพาะทาง ดังนั้นการวิเคราะห์สามารถเริ่มต้นได้โดยไม่ต้องฝึกฝนตั้งแต่ต้น

การประยุกต์ใช้

  • การจำแนกประเภทข้อความโดยใช้การแทนความหมายเอกสารที่คำนึงถึงบริบท
  • การวัดความคล้ายคลึงทางความหมายระหว่างเอกสารหรือข้อความ
  • การวิเคราะห์ความสัมพันธ์และคำอธิบายเกี่ยวกับข้อความที่ความหมายของคำขึ้นอยู่กับบริบท
  • การสร้างคุณลักษณะสำหรับแบบจำลอง NLP ปลายน้ำในงานวิจัยด้านสุขภาพ สังคมศาสตร์ เศรษฐศาสตร์ และธุรกิจ

วิธีการทำงาน

วิธีการทำงาน

1

จะเลือกแบบจำลอง BERT ที่ฝึกฝนล่วงหน้า (pretrained BERT model) ที่เหมาะสมเพื่อจับคู่กับคลังข้อมูล (corpus) — แบบจำลองหลายภาษาสำหรับข้อความที่ไม่ใช่ภาษาอังกฤษหรือภาษาผสม หรือแบบจำลองเฉพาะทางเมื่อข้อความมาจากสาขาเฉพาะทาง การเลือกแบบจำลองที่ตรงกับภาษาและสาขาของคลังข้อมูลคือการตัดสินใจที่ส่งผลต่อคุณภาพของการฝังความหมายมากที่สุด

2

เอกสารแต่ละฉบับจะถูกแบ่งออกเป็นโทเค็นย่อย (sub-word tokens) ตามที่แบบจำลองที่เลือกคาดหวัง การแบ่งโทเค็น (Tokenisation) จะแยกคำออกเป็นหน่วยที่แบบจำลองได้รับการฝึกฝนล่วงหน้า ดังนั้นแม้แต่คำที่ไม่คุ้นเคยหรือคำประสมก็สามารถถูกแทนความหมายได้

3

ตัวเข้ารหัส Transformer แบบสองทิศทางจะประมวลผลโทเค็นต่างๆ และสร้างเวกเตอร์ที่ไวต่อบริบทสำหรับแต่ละโทเค็น โดยอ่านแต่ละโทเค็นโดยพิจารณาจากข้อความรอบข้าง คำเดียวกันจะให้เวกเตอร์ที่แตกต่างกันในบริบทที่แตกต่างกัน ซึ่งเป็นสิ่งที่ทำให้การแทนความหมายมีความสมบูรณ์

4

การฝังความหมายที่ได้จะป้อนเข้าสู่งานปลายน้ำ (downstream tasks) — การจำแนกประเภท (classification) ความคล้ายคลึง (similarity) หรือการวิเคราะห์ความสัมพันธ์ (relationship analysis) และสำหรับคลังข้อมูลขนาดใหญ่ แบบจำลองสามารถปรับแต่ง (fine-tuned) ให้เข้ากับงานได้ แนะนำให้ใช้ GPU สำหรับชุดข้อมูลขนาดใหญ่ เนื่องจากกระบวนการเข้ารหัสเอกสารจำนวนมากต้องใช้พลังการประมวลผลสูง

ข้อผิดพลาดที่พบบ่อย

  • การใช้แบบจำลองภาษาอังกฤษกับข้อความในภาษาอื่นจะทำให้คุณภาพลดลง เลือกแบบจำลองหลายภาษาหรือแบบจำลองที่ตรงกัน
  • การปรับแต่ง BERT บนชุดข้อมูลขนาดเล็ก (ต่ำกว่าประมาณ 100 เอกสาร) ไม่ได้ผล — ให้กลับไปใช้การฝังความหมายแบบคงที่ที่ฝึกฝนล่วงหน้า เช่น GloVe
  • หากไม่มีข้อมูลข้อความเลย การฝังความหมายแบบ BERT จะไม่สามารถสร้างขึ้นได้ — พิจารณาการจัดกลุ่ม (clustering) บนข้อมูลที่มีโครงสร้างแทน
  • การเข้ารหัสคลังข้อมูลขนาดใหญ่โดยไม่มี GPU อาจช้าเกินไป

คำถามที่พบบ่อย

BERT แตกต่างจาก Word2Vec หรือ GloVe อย่างไร?

Word2Vec และ GloVe กำหนดเวกเตอร์คงที่เพียงเวกเตอร์เดียวให้กับแต่ละคำโดยไม่คำนึงถึงบริบท BERT เป็นแบบตามบริบท: มันอ่านแต่ละคำร่วมกับข้อความรอบข้างและสร้างเวกเตอร์ที่แตกต่างกันสำหรับคำเดียวกันในประโยคที่แตกต่างกัน ซึ่งจับความหมายที่การฝังความหมายแบบคงที่พลาดไป

ต้องใช้ข้อความปริมาณเท่าใด?

การสร้างการฝังความหมายจากแบบจำลองที่ฝึกฝนล่วงหน้าสามารถทำงานได้แม้ในคลังข้อมูลขนาดเล็ก (ประมาณสิบเอกสารขึ้นไป) อย่างไรก็ตาม การปรับแต่งแบบจำลองให้เข้ากับงานของคุณนั้นต้องการชุดข้อมูลที่ใหญ่กว่า — หากมีเอกสารน้อยกว่าประมาณ 100 ฉบับ ควรเลือกใช้การฝังความหมายแบบคงที่ที่ฝึกฝนล่วงหน้า เช่น GloVe แทน

จำเป็นต้องใช้ GPU หรือไม่?

ไม่จำเป็นสำหรับชุดข้อมูลขนาดเล็ก แต่แนะนำให้ใช้ GPU สำหรับชุดข้อมูลขนาดใหญ่ เนื่องจากกระบวนการเข้ารหัสเอกสารจำนวนมากผ่าน Transformer ต้องใช้พลังการประมวลผลสูงและอาจช้ามากบน CPU

BERT สามารถจัดการภาษาอื่นนอกเหนือจากภาษาอังกฤษได้หรือไม่?

ได้ โดยต้องเลือกแบบจำลองที่ตรงกัน — แบบจำลองหลายภาษา หรือแบบจำลองที่ฝึกฝนสำหรับภาษาหรือสาขาเฉพาะของคลังข้อมูลของคุณ การใช้แบบจำลองที่ใช้เฉพาะภาษาอังกฤษกับข้อความในภาษาอื่นเป็นสาเหตุทั่วไปของผลลัพธ์ที่ไม่ดี

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว