Skip to content
กลับไปยังผลการค้นหา

การจำแนกประเภทโดยใช้ BERT ที่ปรับละเอียด

ผู้เสนอ
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
ปี
2019
ประเภท
Pre-trained transformer fine-tuned for classification
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกประเภทโดยใช้ BERT ที่ปรับละเอียด (Fine-Tuned BERT-based Classification) เป็นการปรับเปลี่ยนโมเดล BERT ที่ได้รับการฝึกฝนล่วงหน้า (pre-trained BERT transformer) ให้เข้ากับงานจำแนกประเภทข้อความที่เฉพาะเจาะจง โดยการเพิ่มชั้นเอาต์พุตที่มีน้ำหนักเบา (lightweight output layer) และทำการฝึกฝนแบบไล่ระดับ (gradient-based training) ต่อไปบนข้อมูลที่มีป้ายกำกับ (labelled examples) โมเดลนี้ให้ความแม่นยำใกล้เคียงกับสถานะปัจจุบันของศิลปะ (near-state-of-the-art accuracy) อย่างสม่ำเสมอในงานวิเคราะห์ความรู้สึก (sentiment analysis) การจัดหมวดหมู่หัวข้อ (topic categorisation) การตรวจจับเจตนา (intent detection) และงานจำแนกประเภทอื่นๆ ในการประมวลผลภาษาธรรมชาติ (NLP classification tasks) โดยใช้ชุดข้อมูลที่มีป้ายกำกับค่อนข้างน้อย

แนวคิดเบื้องหลังวิธีการ

BERT ได้รับการฝึกฝนล่วงหน้าบนข้อความจำนวนมหาศาลที่ไม่มีป้ายกำกับ ทำให้เรียนรู้การแทนความหมายของภาษาในบริบทที่หลากหลาย (rich contextual representations) การปรับละเอียด (Fine-tuning) เป็นการนำความรู้ทั่วไปนั้นมาใช้ใหม่ โดยการต่อส่วนหัวสำหรับการจำแนกประเภท (classification head) แบบง่ายๆ ไว้ด้านบน และฝึกฝนโมเดลทั้งหมด — หรือเฉพาะส่วนหัว — บนข้อมูลที่มีป้ายกำกับของคุณ เนื่องจาก BERT เข้าใจไวยากรณ์ ความหมาย และความรู้เกี่ยวกับโลกอยู่แล้ว โมเดลจึงต้องการข้อมูลที่มีป้ายกำกับน้อยกว่าการฝึกโมเดลโครงข่ายประสาทเทียมตั้งแต่ต้น และสามารถลู่เข้าสู่ความแม่นยำที่สูงขึ้นได้อย่างรวดเร็ว โทเค็น [CLS] จะกลั่นกรองบทสรุปในระดับประโยคที่ส่วนจำแนกประเภทอ่าน

ประวัติศาสตร์

BERT (Bidirectional Encoder Representations from Transformers) เปิดตัวโดย Google AI ในปี 2019 โดย Devlin และคณะ โดยต่อยอดจากสถาปัตยกรรม Transformer ของ Vaswani และคณะ (2017) งานฝึกฝนล่วงหน้าแบบ Masked Language Modelling และ Next-Sentence Prediction ทำให้เกิดการแทนความหมายเชิงบริบทที่ลึกซึ้ง ซึ่งเหนือกว่าสถานะปัจจุบันของศิลปะใน 11 เกณฑ์มาตรฐาน NLP พร้อมกัน การปรับละเอียด BERT สำหรับการจำแนกประเภทอย่างรวดเร็วกลายเป็นกระบวนทัศน์ที่โดดเด่นในการวิจัย NLP ประยุกต์ ทำให้เกิดรุ่นต่อมา เช่น RoBERTa, DistilBERT และ ALBERT

ควรใช้เมื่อใด

ใช้การจำแนกประเภทโดยใช้ BERT ที่ปรับละเอียด (Fine-Tuned BERT-based Classification) เมื่อคุณมีข้อมูลข้อความที่มีหมวดหมู่ที่มีป้ายกำกับ และต้องการความแม่นยำสูงในงานต่างๆ เช่น การวิเคราะห์ความรู้สึก การตรวจจับเจตนา การติดป้ายหัวข้อ หรือการคัดแยกเอกสาร โมเดลนี้จะทำงานได้ดีเยี่ยมแม้มีข้อมูลที่มีป้ายกำกับเพียงไม่กี่ร้อยถึงสองสามพันตัวอย่าง เนื่องจาก การฝึกฝนล่วงหน้าได้ให้ความรู้เบื้องต้นที่สมบูรณ์ (rich prior knowledge) ควรเลือกใช้โมเดลนี้แทนโมเดลจำแนกประเภทแบบถุงคำ (bag-of-words classifiers) แบบดั้งเดิมเมื่อความหมายเชิงบริบทมีความสำคัญ อย่าใช้โมเดลนี้เมื่อทรัพยากรคอมพิวเตอร์มีจำกัดอย่างมาก (การอนุมานบน CPU ช้า) เมื่อโดเมนข้อความแตกต่างอย่างสิ้นเชิงจากข้อความเว็บทั่วไปและไม่มีจุดตรวจสอบเฉพาะโดเมน (domain-specific checkpoint) หรือเมื่อจำเป็นต้องตีความน้ำหนักของคุณลักษณะแต่ละรายการอย่างสมบูรณ์โดยหน่วยงานกำกับดูแลหรือผู้ตรวจสอบ

ข้อจำกัดและข้อควรพิจารณา

  • ใช้หน่วยความจำและพลังประมวลผลสูงทั้งในระหว่างการปรับละเอียดและการอนุมาน จำเป็นต้องมี GPU เพื่อให้ได้ปริมาณงานที่ใช้งานได้จริง
  • มีข้อจำกัดเรื่องหน้าต่างบริบท (512 โทเค็นสำหรับ BERT พื้นฐาน) เอกสารที่ยาวกว่านี้ต้องถูกตัดทอนหรือแบ่ง
  • ภายในโมเดลยังคงไม่ชัดเจนเป็นส่วนใหญ่ ซึ่งอาจขัดแย้งกับข้อกำหนดด้านกฎระเบียบหรือการตรวจสอบโดยผู้เชี่ยวชาญที่ต้องการความสามารถในการตีความ
  • ความเสี่ยงของการลืมความรู้ที่ได้จากการฝึกฝนล่วงหน้าหากอัตราการเรียนรู้สูงเกินไปหรือการฝึกฝนดำเนินไปนานเกินไป
  • ประสิทธิภาพลดลงในโดเมนที่เฉพาะเจาะจงสูง (บันทึกทางการแพทย์ สัญญาทางกฎหมาย) เว้นแต่จะใช้จุดตรวจสอบที่ตรงกับโดเมน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้ความแม่นยำใกล้เคียงกับสถานะปัจจุบันของศิลปะในเกณฑ์มาตรฐานการจำแนกประเภทข้อความส่วนใหญ่ด้วยข้อมูลที่มีป้ายกำกับจำกัด
  • จับความหมายเชิงบริบทระยะยาวที่โมเดลถุงคำและ TF-IDF พลาดไป
  • การเรียนรู้แบบถ่ายโอน (Transfer learning) ช่วยลดปริมาณข้อมูลที่มีป้ายกำกับและเวลาในการฝึกฝนที่จำเป็นลงอย่างมากเมื่อเทียบกับการฝึกฝนตั้งแต่ต้น
  • ระบบนิเวศที่กว้างขวางของจุดตรวจสอบที่ฝึกฝนล่วงหน้าเฉพาะทาง (ชีวการแพทย์ กฎหมาย การเงิน พหุภาษา) ผ่าน HuggingFace
  • API ที่สอดคล้องกันในทุกงาน — สูตรการปรับละเอียดแบบเดียวกันใช้ได้กับการตั้งค่าแบบสองคลาส (binary) หลายคลาส (multi-class) และหลายป้ายกำกับ (multi-label)
  • การแบ่งโทเค็นย่อยในตัว (Built-in sub-word tokenisation) จัดการกับภาษาที่มีโครงสร้างคำที่ซับซ้อน (morphologically rich languages) คำที่พบน้อย และการพิมพ์ผิดได้อย่างมีประสิทธิภาพ

การประยุกต์ใช้

  • การวิเคราะห์ความรู้สึกของรีวิวผลิตภัณฑ์ โพสต์บนโซเชียลมีเดีย และการตอบแบบสำรวจ
  • การตรวจจับเจตนาและการเติมช่องว่าง (slot filling) ในระบบสนทนาและผู้ช่วยเสมือน
  • การติดป้ายหัวข้อและหมวดหมู่สำหรับบทความข่าว บทคัดย่อ หรือตั๋วสนับสนุน
  • การจำแนกประเภทข้อความทางการแพทย์ เช่น ความรุนแรงของการคัดแยก หรือการกำหนดรหัส ICD โดยใช้ BioBERT เฉพาะทาง
  • การตรวจจับคำพูดแสดงความเกลียดชังและความเป็นพิษในกระบวนการกลั่นกรองเนื้อหา
  • การจำแนกประเภทเอกสารทางกฎหมายและการระบุประเภทข้อความ (clause-type identification) โดยใช้ BERT รูปแบบเฉพาะทางกฎหมาย

วิธีการทำงาน

วิธีการทำงาน

1

โหลดจุดตรวจสอบ BERT ที่ฝึกฝนล่วงหน้า (เช่น bert-base-uncased หรือรูปแบบเฉพาะทาง) โดยอาจจะตรึง (frozen) หรือไม่ตรึง (unfrozen) ชั้นทรานส์ฟอร์มเมอร์ทั้งหมด ตัวแบ่งโทเค็น (tokeniser) จะแปลงข้อความดิบให้เป็นโทเค็นย่อยของคำ (WordPiece subword tokens) โดยใส่โทเค็นพิเศษ [CLS] ไว้ข้างหน้า ซึ่งใช้เป็นตัวแทนของลำดับ และเพิ่มตัวคั่น [SEP]

2

ส่วนหัวสำหรับการจำแนกประเภทเชิงเส้น (linear classification head) จะแมปสถานะซ่อนสุดท้ายของโทเค็น [CLS] ไปยังคะแนนล็อกิต (logit scores) เหนือชุดคลาสเป้าหมาย คำนวณค่าความสูญเสียครอสเอนโทรปี (Cross-entropy loss) ระหว่างการแจกแจงที่ทำนายและป้ายกำกับจริง นี่เป็นเพียงบล็อกน้ำหนักที่เริ่มต้นใหม่เท่านั้น ส่วนที่เหลือทั้งหมดจะสืบทอดมาจากการฝึกฝนล่วงหน้า

สูตร
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})
3

พารามิเตอร์ทั้งหมดของโมเดล — หรือชุดย่อยที่เลือก เช่น ชั้นทรานส์ฟอร์มเมอร์ N ชั้นบนสุด — จะถูกอัปเดตพร้อมกันผ่านการแพร่กระจายย้อนกลับ (backpropagation) โดยใช้อัตราการเรียนรู้ต่ำ (โดยทั่วไปคือ 2e-5 ถึง 5e-5) การฝึกฝนจะดำเนินไปสองถึงสี่รอบ (epochs) การฝึกฝนหลายรอบเกินไปอาจเสี่ยงต่อการลืมความรู้ที่ได้จากการฝึกฝนล่วงหน้า (catastrophic forgetting)

4

การดรอปเอาต์ (Dropout) (โดยทั่วไปคือ 0.1) ที่ใช้ก่อนส่วนหัวการจำแนกประเภท ร่วมกับการหยุดก่อนกำหนด (early stopping) หรือการวอร์มอัปอัตราการเรียนรู้แบบเชิงเส้นพร้อมการลดทอน (linear learning-rate warm-up with decay) จะช่วยป้องกันการเรียนรู้เกิน (overfitting) ชุดข้อมูลที่มีความไม่สมดุลของคลาส (class-imbalanced datasets) จะได้รับประโยชน์จากการใช้ค่าความสูญเสียแบบถ่วงน้ำหนัก (weighted loss) หรือการสุ่มตัวอย่างเกิน (over-sampling) คลาสส่วนน้อยก่อนทำการปรับละเอียด

5

ในการอนุมาน (inference) ข้อมูลอินพุตที่ถูกแบ่งเป็นโทเค็นจะถูกส่งผ่านโมเดลที่ปรับละเอียดแล้ว และการหาค่าอาร์กแมกซ์ (argmax) ของเอาต์พุตซอฟต์แมกซ์ (softmax) จะเลือกคลาสที่ทำนาย แนะนำให้ปรับเทียบ (calibration) คะแนนความเชื่อมั่นหากการตัดสินใจในขั้นตอนต่อไปขึ้นอยู่กับเกณฑ์ความน่าจะเป็น

สูตร
\hat{y} = \arg\max_k\, p(y=k|x)

ข้อผิดพลาดที่พบบ่อย

  • การใช้อัตราการเรียนรู้ที่สูงเกินไป (สูงกว่า 5e-5) ซึ่งทำให้ค่าน้ำหนักที่ฝึกฝนล่วงหน้าไม่เสถียรและประสิทธิภาพลดลง
  • การปรับละเอียดนานเกินไปโดยไม่มีการหยุดก่อนกำหนด ส่งผลให้เกิดการลืมความรู้ภาษาที่ได้จากการฝึกฝนล่วงหน้าอย่างรุนแรง
  • การละเลยความไม่สมดุลของคลาสในค่าความสูญเสียของการปรับละเอียด ทำให้โมเดลทำนายคลาสส่วนใหญ่เกือบทั้งหมด
  • การตัดเอกสารยาวที่ 512 โทเค็นโดยไม่พิจารณาว่าส่วนใดของข้อความที่ให้ข้อมูลที่เกี่ยวข้องมากที่สุด
  • การประเมินผลเฉพาะบนการแจกแจงการฝึกฝนเท่านั้น และไม่ได้ทดสอบการสรุปผลบนชุดข้อมูลที่แยกออกหรือชุดข้อมูลนอกโดเมน

คำถามที่พบบ่อย

ต้องใช้ข้อมูลที่มีป้ายกำกับจำนวนเท่าใดจึงจะสามารถปรับละเอียด BERT ได้อย่างมีประสิทธิภาพ

การปรับละเอียด BERT สามารถทำงานได้ดีโดยใช้ข้อมูลเพียงไม่กี่ร้อยตัวอย่างต่อคลาสสำหรับงานแบบสองคลาสที่ง่าย และโดยทั่วไปจะให้ประสิทธิภาพที่แข็งแกร่งด้วยข้อมูลที่มีป้ายกำกับ 1,000–10,000 ตัวอย่าง สำหรับกรณีที่มีทรัพยากรต่ำมาก วิธีการแบบ few-shot หรือ prompt-based อาจให้ผลลัพธ์ที่ดีกว่าการปรับละเอียดมาตรฐาน

ควรอัปเดตทุกชั้น หรือเฉพาะส่วนหัวการจำแนกประเภทเท่านั้น

การปรับละเอียดทุกชั้นพร้อมกันมักจะให้ความแม่นยำที่ดีที่สุด โดยใช้ Learning Rate ต่ำ (2e-5 ถึง 5e-5) การตรึงส่วนใหญ่และฝึกเฉพาะส่วนหัวจะเร็วกว่าและปลอดภัยกว่าเมื่อข้อมูลมีป้ายกำกับน้อยมาก แต่โดยทั่วไปจะเสียความแม่นยำไปหลายจุด

จะจัดการกับเอกสารที่ยาวกว่า 512 โทเค็นได้อย่างไร

กลยุทธ์ทั่วไป ได้แก่ การตัดให้เหลือ 512 โทเค็นแรก (ซึ่งมักเพียงพอสำหรับเบาะแสการจำแนกประเภทที่ส่วนต้น) การใช้หน้าต่างเลื่อน (sliding-window pooling) กับส่วนที่ทับซ้อนกัน หรือตัวเข้ารหัสแบบลำดับชั้น (hierarchical encoders) ที่รวบรวมการแทนความหมายในระดับส่วน การเลือกวิธีที่ดีที่สุดขึ้นอยู่กับว่าเนื้อหาที่แยกแยะคลาสปรากฏที่ใดในเอกสารของคุณ

ควรเลือกใช้ BERT รูปแบบใด

เริ่มต้นด้วย bert-base-uncased สำหรับข้อความทั่วไปภาษาอังกฤษ ใช้จุดตรวจสอบเฉพาะทาง (เช่น BioBERT สำหรับชีวการแพทย์ LegalBERT สำหรับกฎหมาย) เมื่อข้อความของคุณแตกต่างอย่างมากจาก Wikipedia และ BookCorpus RoBERTa-base มักให้ผลลัพธ์ที่ดีกว่า BERT ในเกณฑ์มาตรฐานการจำแนกประเภท และเป็นทางเลือกที่แข็งแกร่ง

จะรายงานผลสำหรับการตีพิมพ์ได้อย่างไร

รายงานค่าความแม่นยำ (precision) การเรียกคืน (recall) และ F1-macro ควบคู่ไปกับความแม่นยำ (accuracy) โดยเฉพาะอย่างยิ่งสำหรับชุดข้อมูลที่ไม่สมดุล ดำเนินการปรับละเอียดด้วยเมล็ดสุ่ม (random seeds) หลายค่า (อย่างน้อยสามค่า) และรายงานค่าเฉลี่ยและค่าเบี่ยงเบนมาตรฐานเพื่อแสดงความเสถียรของผลลัพธ์ รวมการประเมินผลบนชุดทดสอบที่แยกออกซึ่งไม่เคยใช้ในการเลือกไฮเปอร์พารามิเตอร์

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว