การจำแนกประเภทแบบ Fine-Tuned RoBERTa
- ผู้เสนอ
- Liu, Y. et al. (Meta AI / University of Washington)
- ปี
- 2019
- ประเภท
- Pretrained transformer fine-tuned for classification
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจำแนกประเภทแบบ Fine-Tuned RoBERTa เป็นการปรับโมเดล RoBERTa ที่ได้รับการฝึกฝนล่วงหน้า (ซึ่งเป็นรูปแบบหนึ่งของ BERT ที่ได้รับการฝึกฝนใหม่มาอย่างดี) ให้เหมาะกับงานจำแนกประเภทข้อความที่เฉพาะเจาะจง โดยการเพิ่มส่วนหัวสำหรับการจำแนกประเภท (classification head) และฝึกฝนต่อไปด้วยข้อมูลที่มีป้ายกำกับ โมเดลนี้ให้ประสิทธิภาพระดับ State-of-the-art หรือใกล้เคียงเสมอในงานวิเคราะห์ความรู้สึก การจำแนกประเภทหัวข้อ การตรวจจับความเป็นพิษ และงานประมวลผลภาษาธรรมชาติ (NLP) อื่นๆ ที่คล้ายคลึงกัน
แนวคิดเบื้องหลังวิธีการ
โมเดล RoBERTa ได้อ่านข้อความจำนวนมหาศาลและได้เรียนรู้การแทนความหมายของภาษาที่มีบริบทที่สมบูรณ์ การทำ Fine-tuning เป็นการนำความรู้นั้นมาปรับใช้กับงานจำแนกประเภทที่เฉพาะเจาะจง โดยการเพิ่มชั้นการจำแนกประเภทขนาดเล็กไว้ด้านบนสุด และฝึกฝนโมเดลทั้งหมดด้วยข้อมูลที่มีป้ายกำกับของคุณเป็นเวลาไม่กี่ Epoch เนื่องจากงานส่วนใหญ่ในการทำความเข้าใจภาษาได้ดำเนินการไปแล้วในระหว่างการฝึกฝนล่วงหน้า (pretraining) ข้อมูลที่มีป้ายกำกับเพียงไม่กี่ร้อยถึงไม่กี่พันตัวอย่างก็มักจะเพียงพอที่จะสร้างโมเดลจำแนกประเภทที่แข็งแกร่งได้ ผลลัพธ์ที่ได้ดีกว่าวิธีการ NLP แบบเดิมๆ เนื่องจากโทเค็นแต่ละตัวถูกแทนความหมายในบริบทของประโยคทั้งหมด ไม่ใช่แค่หน้าต่างที่อยู่ใกล้เคียง
ประวัติศาสตร์
โมเดล RoBERTa ถูกนำเสนอโดย Liu และคณะที่ Meta AI ในปี 2019 ในฐานะการศึกษาการจำลอง (replication study) และส่วนขยายของ BERT โดยแสดงให้เห็นว่า BERT ได้รับการฝึกฝนไม่เพียงพอ การฝึกฝนนานขึ้น บนข้อมูลมากขึ้น ด้วย batch ที่ใหญ่ขึ้น dynamic masking และการลบ objective การทำนายประโยคถัดไป (next-sentence prediction) ทำให้ RoBERTa มีประสิทธิภาพเหนือกว่า BERT ในเกณฑ์มาตรฐาน GLUE และ SuperGLUE การทำ Fine-tuning เพื่อการจำแนกประเภทกลายเป็นจุดเริ่มต้นโดยพฤตินัย (de facto) สำหรับงานจำแนกประเภท NLP ที่ใช้งานได้จริงทั้งในงานวิจัยและอุตสาหกรรม
ควรใช้เมื่อใด
เลือกใช้การจำแนกประเภทแบบ Fine-Tuned RoBERTa เมื่อคุณมีปัญหาการจำแนกประเภทข้อความ — เช่น ความรู้สึก หัวข้อ เจตนา ความเป็นพิษ ท่าที หรือการมอบหมายป้ายกำกับใดๆ — และมีข้อมูลที่มีป้ายกำกับอย่างน้อยหลายร้อยตัวอย่างต่อคลาส โดยที่ควรมีมากกว่าหนึ่งพันตัวอย่างจะดีที่สุด โมเดลนี้จะทำงานได้ดีเยี่ยมเมื่อความแตกต่างทางภาษา บริบทระยะยาว หรือการใช้คำเฉพาะทางมีความสำคัญ ใช้ roberta-large เมื่อความแม่นยำเป็นสิ่งสำคัญสูงสุดและมีทรัพยากรเพียงพอ หรือใช้ roberta-base เมื่อทรัพยากร GPU มีจำกัด อย่าใช้โมเดลนี้เมื่อคุณต้องการโมเดลที่สามารถอธิบายผลลัพธ์ได้อย่างสมบูรณ์พร้อมน้ำหนักคุณลักษณะที่ชัดเจน เมื่อชุดข้อมูลของคุณมีขนาดเล็กมาก (น้อยกว่าประมาณ 100 ตัวอย่างที่มีป้ายกำกับต่อคลาส) โดยไม่มีการเพิ่มข้อมูล (data augmentation) หรือเมื่อข้อจำกัดด้านเวลาแฝง (latency) ทำให้ไม่สามารถใช้การอนุมาน (inference) ของ transformer ได้
ข้อจำกัดและข้อควรพิจารณา
- มีค่าใช้จ่ายในการคำนวณสูง: การทำ Fine-tuning roberta-large ต้องการ GPU และหน่วยความจำจำนวนมาก ซึ่งจำกัดการเข้าถึง
- ความยาวอินพุตสูงสุด 512 โทเค็น หมายความว่าเอกสารที่ยาวมากต้องถูกแบ่งเป็นส่วนๆ หรือสรุปก่อนทำการจำแนกประเภท
- ลักษณะแบบกล่องดำ (Black-box nature) ทำให้ยากต่อการอธิบายการทำนายโดยไม่มีเครื่องมือหลังการประมวลผล (post-hoc tools) เช่น SHAP หรือ LIME
- การทำ Fine-tuning บนชุดข้อมูลที่มีป้ายกำกับขนาดเล็กมาก เสี่ยงต่อการเกิด Overfitting แม้จะมีฐานที่ฝึกฝนล่วงหน้ามาแล้ว
- ขนาดโมเดลทำให้เวลาแฝงในการนำไปใช้งานเป็นข้อกังวลในระบบการผลิตแบบเรียลไทม์ หากไม่มีการกลั่น (distillation) หรือการควอนไทซ์ (quantization)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้ผลลัพธ์ความแม่นยำระดับ State-of-the-art หรือใกล้เคียงเสมอในเกณฑ์มาตรฐานการจำแนกประเภท NLP ทั่วไป
- จับบริบทแบบสองทิศทางได้อย่างสมบูรณ์ จัดการกับการปฏิเสธ การอ้างถึง และการขึ้นต่อกันของส่วนประกอบที่อยู่ห่างกัน ซึ่งโมเดลที่ง่ายกว่าอาจมองข้ามไป
- ต้องการข้อมูลที่มีป้ายกำกับน้อยกว่าการฝึกฝนตั้งแต่ต้นมาก เนื่องจากมีการแทนความหมายภาษาที่ฝึกฝนล่วงหน้ามาอย่างสมบูรณ์
- จุดตรวจสอบเฉพาะทาง (เช่น BioBERT, FinBERT-derived RoBERTa) ช่วยเพิ่มประสิทธิภาพในสาขาเฉพาะทางได้ดียิ่งขึ้น
- ไลบรารี Hugging Face Transformers ทำให้การนำไปใช้งานง่ายขึ้นโดยมีโค้ดเริ่มต้นน้อยที่สุด
การประยุกต์ใช้
- การวิเคราะห์ความรู้สึกของรีวิวผลิตภัณฑ์ โพสต์บนโซเชียลมีเดีย และการตอบแบบสำรวจ
- การตรวจจับความเป็นพิษและคำพูดแสดงความเกลียดชังในการกลั่นกรองเนื้อหาออนไลน์
- การจัดหมวดหมู่หัวข้อข่าวและการจำแนกเจตนาในระบบสนทนา
- การจำแนกบันทึกทางการแพทย์และการเข้ารหัสทางการแพทย์ในเวชสารสนเทศ
- การตรวจจับท่าทีและการทำเหมืองข้อโต้แย้งในสังคมศาสตร์เชิงคำนวณ
- การจำแนกเอกสารทางกฎหมายและการติดป้ายกำกับข้อสัญญา
วิธีการทำงาน
วิธีการทำงาน
โหลดจุดตรวจสอบ (checkpoint) ของโมเดล RoBERTa ที่ได้รับการฝึกฝนล่วงหน้า (เช่น roberta-base หรือ roberta-large จาก Hugging Face) โมเดล RoBERTa ได้รับการฝึกฝนล่วงหน้าด้วยเทคนิค dynamic masking บนคลังข้อมูล (corpus) ที่ใหญ่กว่ามากและใช้จำนวนขั้นตอนมากกว่า BERT ดั้งเดิม ทำให้การแทนความหมายมีความแข็งแกร่งและสามารถนำไปใช้ได้ทั่วไปในหลากหลายโดเมนมากขึ้น
ข้อความนำเข้าจะถูกแปลงเป็นโทเค็นโดยใช้วิธีการ byte-pair encoding (BPE) ของ RoBERTa แต่ละตัวอย่างจะถูกนำหน้าด้วยโทเค็นพิเศษ [CLS] และถูกตัดหรือเติมให้มีความยาวตามลำดับสูงสุดที่โมเดลรองรับ (โดยทั่วไปคือ 512 โทเค็น) attention masks จะระบุโทเค็นจริงเทียบกับโทเค็นที่เติมเข้ามา
สถานะซ่อนเร้น (hidden state) ของโทเค็น [CLS] ที่ได้จากชั้น transformer สุดท้ายจะถูกส่งผ่านไปยังชั้นการจำแนกประเภทเชิงเส้น (linear classification head) ที่มีการเปิดใช้งานแบบ softmax (สำหรับหลายคลาส) หรือ sigmoid (สำหรับหลายป้ายกำกับ) เพื่อสร้างความน่าจะเป็นของแต่ละคลาส
สูตร
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)โมเดลทั้งหมด — ทั้งชั้น transformer และชั้นการจำแนกประเภท — จะถูกฝึกฝนแบบ end-to-end บนชุดข้อมูลที่มีป้ายกำกับ โดยใช้ฟังก์ชัน cross-entropy loss และอัตราการเรียนรู้ที่ต่ำ (โดยทั่วไปคือ 1e-5 ถึง 3e-5) จำนวนไม่กี่ Epoch (2–5) มักจะเพียงพอ การฝึกฝนนานเกินไปอาจเสี่ยงต่อการลืมความรู้ที่ได้จากการฝึกฝนล่วงหน้าอย่างรุนแรง (catastrophic forgetting)
สูตร
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iประสิทธิภาพจะถูกประเมินบนชุดข้อมูลทดสอบที่แยกไว้ โดยใช้ค่า accuracy, macro-F1, และ precision กับ recall ในระดับคลาส สำหรับคลาสที่ไม่สมดุล (imbalanced classes) ควรเลือกใช้ macro-F1 และ AUC-ROC แทนค่า accuracy ดิบ การทำนายจะถูกกำหนดค่า threshold ที่ 0.5 สำหรับงานแบบ binary หรือ argmax สำหรับงานแบบ multi-class
ข้อผิดพลาดที่พบบ่อย
- การใช้ learning rate ที่สูงเกินไป (สูงกว่า 5e-5) ซึ่งทำลายการแทนความหมายที่ฝึกฝนล่วงหน้ามาแล้ว — ปรากฏการณ์นี้เรียกว่า catastrophic forgetting
- การประเมินผลโดยใช้เพียงค่า accuracy กับคลาสที่ไม่สมดุล ซึ่งจะบดบังค่า recall ที่ต่ำในกลุ่มคลาสส่วนน้อย
- การข้ามการแบ่งชุดข้อมูลเป็น train/validation/test และการปรับ hyperparameter บนชุดข้อมูลทดสอบ ซึ่งทำให้ประสิทธิภาพที่รายงานสูงเกินจริง
- การตัดข้อความทั้งหมดให้เหลือ 128 โทเค็นเพื่อความเร็ว โดยไม่ได้ตรวจสอบว่าเนื้อหาที่จำแนกความแตกต่างนั้นอยู่ในส่วนที่ถูกตัดหรือไม่
- การลืมตั้งค่า random seed แบบคงที่ และไม่รายงานค่าความแปรปรวนระหว่างการรัน ทำให้ผลลัพธ์ไม่สามารถทำซ้ำได้
คำถามที่พบบ่อย
การจำแนกประเภทแบบ Fine-Tuned RoBERTa แตกต่างจากการจำแนกประเภทแบบ Fine-Tuned BERT อย่างไร?
RoBERTa ใช้สถาปัตยกรรม transformer แบบเดียวกับ BERT แต่ได้รับการฝึกฝนล่วงหน้าด้วย dynamic masking บนคลังข้อมูลที่ใหญ่กว่า (160 GB เทียบกับ 16 GB) ใช้จำนวนขั้นตอนมากกว่า และไม่มี objective การทำนายประโยคถัดไป การเปลี่ยนแปลงเหล่านี้สร้างการแทนความหมายที่แข็งแกร่งกว่า และการทำ Fine-tuned RoBERTa ให้ประสิทธิภาพเหนือกว่า BERT อย่างสม่ำเสมอในเกณฑ์มาตรฐานการจำแนกประเภทส่วนใหญ่
ต้องใช้ข้อมูลที่มีป้ายกำกับจำนวนเท่าใด?
ข้อมูลหลายร้อยตัวอย่างต่อคลาส มักจะเพียงพอเพื่อให้ได้ผลลัพธ์ที่สมเหตุสมผล เนื่องจากโมเดลที่ฝึกฝนล่วงหน้าเข้าใจภาษาอยู่แล้ว หากมีตัวอย่างน้อยกว่าประมาณ 100 ตัวอย่างต่อคลาส การใช้ few-shot prompting หรือกลยุทธ์การเพิ่มข้อมูล (data augmentation) จะเป็นที่แนะนำเพื่อลดความเสี่ยงของการเกิด Overfitting
ควรใช้ RoBERTa รุ่นใด — base หรือ large?
roberta-base (125 ล้านพารามิเตอร์) เป็นค่าเริ่มต้นที่ใช้งานได้จริง: สามารถทำ Fine-tuning ได้อย่างรวดเร็วบน GPU เครื่องเดียว และมักให้ประสิทธิภาพใกล้เคียงกับ roberta-large ใช้ roberta-large (355 ล้านพารามิเตอร์) เมื่อความแม่นยำตามเกณฑ์มาตรฐานเป็นเป้าหมายหลักและทรัพยากรในการคำนวณไม่ใช่คอขวด
จะจัดการกับข้อความที่ยาวกว่า 512 โทเค็นได้อย่างไร?
กลยุทธ์ทั่วไป ได้แก่ การตัดให้เหลือส่วนที่ให้ข้อมูลมากที่สุด (มักจะเป็นส่วนต้นและส่วนท้าย) การแบ่งเอกสารออกเป็นส่วนย่อยๆ ที่ซ้อนทับกันและรวบรวมการทำนาย หรือการใช้วิธีการแบบลำดับชั้น (hierarchical approach) โดยการรวม embedding ของประโยคก่อนทำการจำแนกประเภท
จะทำให้การทำนายของโมเดลสามารถอธิบายได้มากขึ้นได้อย่างไร?
ใช้ค่า SHAP values (ผ่าน Explainer สำหรับ transformers ในไลบรารี shap) หรือ LIME เพื่อระบุว่าการทำนายมาจากโทเค็นหรือช่วงของข้อความอินพุตใด น้ำหนัก Attention ก็สามารถเน้นส่วนของข้อความที่เกี่ยวข้องได้เช่นกัน แม้ว่าโดยตัวมันเองจะไม่ใช่ตัวบ่งชี้ความสำคัญของคุณลักษณะที่เชื่อถือได้ก็ตาม
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วDevlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว