Skip to content
กลับไปยังผลการค้นหา

การจำแนกประเภทโดยใช้ BERT

ผู้เสนอ
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
ปี
2019
ประเภท
Pre-trained language model with fine-tuning
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกประเภทโดยใช้ BERT เป็นการปรับจูน (fine-tune) โมเดล Bidirectional Encoder Representations from Transformers ของ Google ด้วยชุดข้อมูลข้อความที่มีป้ายกำกับ โดยแทนที่ส่วนหัว (head) ที่ได้รับการฝึกฝนล่วงหน้า (pre-trained) แบบทั่วไปด้วยชั้นการจำแนกประเภทที่เฉพาะเจาะจงกับงาน โมเดลนี้ใช้ประโยชน์จากบริบทแบบสองทิศทางเชิงลึกจากพารามิเตอร์ที่ได้รับการฝึกฝนล่วงหน้าหลายร้อยล้านรายการ เพื่อให้ได้ความแม่นยำระดับ State-of-the-art สำหรับงานจำแนกประเภทข้อความสั้นและปานกลาง ด้วยข้อมูลที่มีป้ายกำกับค่อนข้างน้อย

แนวคิดเบื้องหลังวิธีการ

BERT อ่านทุกคำในประโยคโดยตระหนักถึงคำทั้งหมดที่อยู่รอบข้างทั้งสองทิศทางพร้อมกัน ซึ่งแตกต่างจากโมเดลก่อนหน้านี้ที่อ่านจากซ้ายไปขวา หรือขวาไปซ้าย ก่อนการปรับจูน BERT ได้ซึมซับรูปแบบภาษาที่หลากหลายจากคลังข้อความขนาดใหญ่แล้ว ในการจำแนกประเภทข้อความ จะมีการเพิ่มชั้นการจำแนกประเภทบางๆ ไว้ด้านบน และโมเดลทั้งหมดจะได้รับการฝึกฝนใหม่ในช่วงสั้นๆ ด้วยตัวอย่างที่มีป้ายกำกับของคุณ โมเดลจะปรับการแสดงผลภายใน (internal representations) ให้เหมาะสมกับหมวดหมู่เฉพาะของคุณ ในขณะที่ยังคงรักษาความรู้ทางภาษาที่กว้างขวางที่ได้รับการฝึกฝนล่วงหน้ามา ทำให้ได้ประสิทธิภาพที่ดีแม้ข้อมูลที่มีป้ายกำกับจะขาดแคลน

ประวัติศาสตร์

BERT ถูกเผยแพร่โดย Devlin และคณะ ที่ Google AI Language ในปี 2019 และได้สร้างผลลัพธ์ระดับ State-of-the-art ใหม่ทันทีบนเกณฑ์มาตรฐาน NLP 11 รายการ รวมถึง GLUE และ SQuAD นวัตกรรมสำคัญคือการฝึกฝนล่วงหน้าแบบสองทิศทางผ่าน masked language modelling และ next-sentence prediction ตั้งแต่ปี 2019 เป็นต้นมา BERT ได้ก่อให้เกิดตระกูลของอนุพันธ์ เช่น RoBERTa, ALBERT, DistilBERT, และรุ่นเฉพาะโดเมนต่างๆ และได้กลายเป็นรากฐานของ NLP ประยุกต์สมัยใหม่ รวมถึงการจำแนกประเภทข้อความในการตั้งค่าทางวิชาการ อุตสาหกรรม และคลินิก

ควรใช้เมื่อใด

ใช้การจำแนกประเภทโดยใช้ BERT เมื่อคุณมีข้อมูลข้อความที่มีป้ายกำกับและต้องการความแม่นยำระดับ State-of-the-art สำหรับงานต่างๆ เช่น การวิเคราะห์ความรู้สึก (sentiment analysis) การจำแนกประเภทหัวข้อ (topic categorisation) การตรวจจับเจตนา (intent detection) หรือการจำแนกประเภทข้อความทางการแพทย์ โมเดลนี้ทำงานได้ดีแม้มีตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ร้อยตัวอย่างต่อคลาส ทำให้เป็นตัวเลือกที่แข็งแกร่งเมื่อไม่มีคลังข้อมูลขนาดใหญ่ที่มีป้ายกำกับ ควรเลือกใช้แทนโมเดลที่ง่ายกว่า (TF-IDF + logistic regression, CNN, LSTM) เมื่อความแตกต่างทางภาษา บริบทระยะยาว หรือความแตกต่างทางความหมายที่ละเอียดอ่อนเป็นปัจจัยสำคัญของงาน ควรหลีกเลี่ยงเมื่อลำดับข้อความยาวเกิน 512 โทเค็นโดยไม่มีการจัดการพิเศษ เมื่อไม่มีทรัพยากรประมวลผล GPU หรือมีค่าใช้จ่ายสูงเกินไป เมื่อต้องการความหน่วงในการอนุมานแบบเรียลไทม์น้อยกว่าไม่กี่มิลลิวินาที หรือเมื่อโดเมนมีความเฉพาะเจาะจงสูงและมีข้อมูลการฝึกฝนล่วงหน้าในโดเมนนั้นน้อยมาก ในกรณีดังกล่าว โมเดลเฉพาะโดเมน (เช่น BioBERT, LegalBERT) อาจเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ข้อจำกัดความยาวลำดับที่เข้มงวดที่ 512 โทเค็น เอกสารที่ยาวกว่าต้องมีการตัดทอน (truncation) การแบ่งเป็นส่วนๆ (chunking) หรือแนวทางแบบลำดับชั้น (hierarchical approaches)
  • ต้นทุนการประมวลผลและหน่วยความจำสูงในเวลาอนุมาน เมื่อเทียบกับโมเดลที่เบากว่า เช่น DistilBERT หรือ logistic regression
  • การปรับจูนบนชุดข้อมูลขนาดเล็กมาก (น้อยกว่าประมาณ 100 ตัวอย่างต่อคลาส) มีความเสี่ยงที่จะเกิดการลืมข้อมูลอย่างรุนแรง (catastrophic forgetting) หรือการเรียนรู้เกิน (overfitting)
  • กลไกภายในของโมเดลยังคงไม่ชัดเจน การอธิบายการทำนายต้องใช้เครื่องมือเพิ่มเติม เช่น การแสดงภาพ attention หรือ SHAP

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • การใส่ใจตนเองแบบสองทิศทาง (Bidirectional self-attention) จับความหมายเชิงบริบทที่ลึกซึ้งซึ่งโมเดล RNN แบบทิศทางเดียวไม่สามารถแสดงผลได้
  • การฝึกฝนล่วงหน้าบนคลังข้อความขนาดใหญ่ให้ความรู้เบื้องต้นเกี่ยวกับภาษาที่แข็งแกร่ง ทำให้ได้ประสิทธิภาพที่ดีด้วยข้อมูลที่มีป้ายกำกับจำกัด
  • การปรับจูนทำได้รวดเร็ว โดยทั่วไปเพียง 3–5 epochs เมื่อเทียบกับการฝึกโมเดลขนาดใหญ่ตั้งแต่ต้น
  • สถาปัตยกรรมเดียวสามารถจัดการงานจำแนกประเภท NLP ได้หลากหลายโดยไม่ต้องใช้การสร้างคุณลักษณะเฉพาะสำหรับงาน (task-specific feature engineering)
  • มีจุดตรวจสอบ (checkpoints) ที่ฝึกฝนล่วงหน้าพร้อมใช้งานอย่างแพร่หลาย (BERT-base, BERT-large) และอนุพันธ์สำหรับหลายภาษาและหลายโดเมน

การประยุกต์ใช้

  • การวิเคราะห์ความรู้สึกของรีวิว โพสต์บนโซเชียลมีเดีย และการตอบแบบสำรวจ
  • การจำแนกประเภทหัวข้อและเจตนาสำหรับฝ่ายสนับสนุนลูกค้า แชทบอท และการกลั่นกรองเนื้อหา
  • การจำแนกประเภทข้อความทางการแพทย์: การเข้ารหัสการวินิจฉัย การคัดกรองบันทึกทางการแพทย์ และการตรวจจับเหตุการณ์ไม่พึงประสงค์
  • การจำแนกประเภทบทคัดย่อทางวิทยาศาสตร์และการคัดกรองการอ้างอิงในการทบทวนอย่างเป็นระบบ
  • การตรวจจับคำพูดแสดงความเกลียดชังและข้อมูลที่บิดเบือนบนแพลตฟอร์มโซเชียล

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความนำเข้าจะถูกแบ่งเป็นโทเค็น WordPiece และมีการเพิ่มโทเค็นพิเศษ [CLS] ไว้ด้านหน้า โทเค็น [SEP] จะทำเครื่องหมายขอบเขตของประโยค โทเค็นแต่ละตัวจะถูกแมปเป็น ID ตัวเลข และมีการเติม (pad) หรือตัด (truncate) ให้มีความยาวลำดับสูงสุดคงที่ โดยทั่วไปคือ 128 หรือ 512 โทเค็น

2

ลำดับโทเค็นจะผ่านชั้น Transformer ทั้งหมดของ BERT แต่ละชั้นจะใช้กลไก multi-head self-attention เพื่อให้แต่ละโทเค็นสามารถอ้างอิงถึงโทเค็นอื่นๆ ทั้งหมดในทั้งสองทิศทางพร้อมกัน สร้างการแสดงผลที่ตระหนักถึงบริบทอย่างลึกซึ้งในแต่ละตำแหน่ง

สูตร
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])
3

สถานะซ่อน (hidden state) ที่สอดคล้องกับโทเค็น [CLS] ในชั้น BERT สุดท้ายจะถูกดึงออกมาเป็นเวกเตอร์ที่มีความยาวคงที่ ซึ่งแสดงถึงลำดับนำเข้าทั้งหมด การแสดงผลที่รวม (pooled representation) นี้จะจับความหมายโดยรวมของข้อความ

4

ชั้นการจำแนกประเภทเชิงเส้น (linear classification head) ซึ่งประกอบด้วยเมทริกซ์น้ำหนักและไบแอส จะแมปเวกเตอร์ [CLS] ไปยังคะแนนสำหรับแต่ละคลาส ฟังก์ชัน softmax จะแปลงคะแนนเหล่านี้เป็นความน่าจะเป็นของคลาส และคลาสที่มีความน่าจะเป็นสูงสุดจะเป็นการทำนาย

สูตร
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)
5

โมเดลทั้งหมด ซึ่งรวมถึงชั้น BERT และชั้นการจำแนกประเภท จะถูกปรับให้เหมาะสม (optimised) ร่วมกันบนชุดฝึกที่มีป้ายกำกับ โดยใช้ cross-entropy loss และอัตราการเรียนรู้ที่ต่ำ (โดยทั่วไปคือ 2e-5 ถึง 5e-5 ด้วย AdamW) เป็นจำนวนรอบสั้นๆ (โดยปกติคือ 3–5 epochs) กลไกการปรับอัตราการเรียนรู้ให้ค่อยๆ เพิ่มขึ้น (learning-rate warm-up) จะป้องกันการอัปเดตเกรเดียนต์ขนาดใหญ่ในช่วงต้น ซึ่งอาจทำลายค่าน้ำหนักที่ฝึกฝนล่วงหน้าไป

ข้อผิดพลาดที่พบบ่อย

  • การใช้อัตราการเรียนรู้ที่สูงเกินไป ซึ่งทำลายค่าน้ำหนักที่ฝึกฝนล่วงหน้าและส่งผลให้ประสิทธิภาพไม่ดีไปกว่าค่าพื้นฐานแบบสุ่ม
  • การตัดทอนอินพุตทั้งหมดโดยไม่ได้ตรวจสอบว่าข้อความที่เกี่ยวข้องที่สุดอยู่ใกล้จุดเริ่มต้นหรือจุดสิ้นสุดของลำดับหรือไม่
  • การข้ามการแบ่งชุดข้อมูลฝึก (train), ชุดตรวจสอบ (validation), และชุดทดสอบ (test) ที่เหมาะสม และวัดประสิทธิภาพเฉพาะบนชุดข้อมูลฝึกเท่านั้น
  • การละเลยความไม่สมดุลของคลาส การรายงานความแม่นยำเพียงอย่างเดียวบนชุดข้อมูลที่ไม่สมดุลจะบดบังประสิทธิภาพที่ต่ำของคลาสส่วนน้อย
  • การเลือกใช้ BERT เมื่อสภาพแวดล้อมการใช้งานขาดทรัพยากร GPU ส่งผลให้เกิดความหน่วงในการอนุมานที่ยอมรับไม่ได้ในการใช้งานจริง

คำถามที่พบบ่อย

ฉันต้องการข้อมูลที่มีป้ายกำกับมากน้อยเพียงใดในการปรับจูน BERT?

BERT สามารถให้ประสิทธิภาพที่เป็นประโยชน์ด้วยข้อมูลที่มีป้ายกำกับเพียงไม่กี่ร้อยตัวอย่างต่อคลาส เนื่องจาก การฝึกฝนล่วงหน้าได้ปลูกฝังความรู้เบื้องต้นเกี่ยวกับภาษาที่หลากหลายไว้แล้ว ประสิทธิภาพจะดีขึ้นอย่างมากเมื่อมีตัวอย่างหลายพันตัวอย่าง หลังจากนั้นผลตอบแทนจะลดลง หากมีตัวอย่างน้อยกว่าประมาณ 100 ตัวอย่างต่อคลาส มีความเสี่ยงที่จะเกิดการเรียนรู้เกินจริง ควรพิจารณาการเพิ่มข้อมูล (data augmentation) หรือโมเดลที่เบากว่า

ฉันควรใช้อัตราการเรียนรู้เท่าใดเมื่อทำการปรับจูน?

อัตราการเรียนรู้ระหว่าง 2e-5 ถึง 5e-5 ด้วยตัวปรับ (optimizer) AdamW เป็นช่วงมาตรฐานที่แนะนำในเอกสารต้นฉบับ อัตราการเรียนรู้ที่สูงขึ้นมีแนวโน้มที่จะทำลายค่าน้ำหนักที่ฝึกฝนล่วงหน้า ในขณะที่อัตราที่ต่ำกว่าจะทำให้การลู่เข้า (convergence) ช้ามาก ใช้การปรับอัตราการเรียนรู้ให้ค่อยๆ เพิ่มขึ้นแบบเชิงเส้นในช่วง 10% แรกของขั้นตอนการฝึก

ข้อความของฉันยาวกว่า 512 โทเค็น ฉันควรทำอย่างไร?

กลยุทธ์ทั่วไป ได้แก่ การตัดให้เหลือ 512 โทเค็นแรกหรือสุดท้าย การแบ่งเอกสารออกเป็นส่วนๆ ที่ซ้อนทับกันและรวมการแสดงผล [CLS] เข้าด้วยกัน หรือการใช้โมเดลสำหรับเอกสารขนาดยาว เช่น Longformer หรือ BigBird ที่สามารถจัดการลำดับได้หลายพันโทเค็น

ฉันควรใช้ BERT-base หรือ BERT-large?

BERT-base (110 ล้านพารามิเตอร์) เป็นค่าเริ่มต้นที่ใช้งานได้จริง: ฝึกได้เร็วขึ้น ใช้หน่วยความจำ GPU น้อยลง และความแม่นยำก็เพียงพอสำหรับงานจำแนกประเภทส่วนใหญ่ BERT-large (340 ล้านพารามิเตอร์) สามารถเพิ่มประสิทธิภาพได้อีกเล็กน้อยในงานที่ซับซ้อน แต่ต้องใช้พลังประมวลผลมากขึ้นอย่างมาก และมีแนวโน้มที่จะเกิดการเรียนรู้เกินในชุดข้อมูลขนาดเล็ก

ฉันจะประเมินตัวจำแนกประเภทอย่างยุติธรรมได้อย่างไร?

แบ่งข้อมูลออกเป็นชุดฝึก ชุดตรวจสอบ และชุดทดสอบ ก่อนทำการปรับจูนใดๆ รายงานค่า macro F1 (ไม่ใช่แค่ความแม่นยำ) เพื่อให้เห็นประสิทธิภาพของคลาสส่วนน้อย ใช้ชุดตรวจสอบสำหรับการค้นหาไฮเปอร์พารามิเตอร์และการหยุดก่อนกำหนด (early stopping) และรายงานผลบนชุดทดสอบเพียงครั้งเดียวเมื่อสิ้นสุดกระบวนการ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว