การจำแนกประเภทโดยใช้ RoBERTa
- ผู้เสนอ
- Liu, Y. et al. (Facebook AI Research / University of Washington)
- ปี
- 2019
- ประเภท
- Pre-trained transformer fine-tuned for sequence classification
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจำแนกประเภทโดยใช้ RoBERTa ประยุกต์ใช้โมเดล RoBERTa ที่ได้รับการฝึกฝนล่วงหน้า — ซึ่งได้รับการฝึกฝนอย่างแข็งแกร่งกว่า BERT ด้วยการปิดบังแบบไดนามิกและชุดข้อมูลขนาดใหญ่กว่า — สำหรับงานจัดหมวดหมู่ข้อความ โดยการเพิ่มส่วนหัวสำหรับการจำแนกประเภทที่มีน้ำหนักเบาบนส่วนแสดงผลของโทเค็น [CLS] และปรับโมเดลทั้งหมดให้เหมาะสมกับตัวอย่างที่มีป้ายกำกับ โมเดลนี้มีความแม่นยำเทียบเท่าหรือสูงกว่า BERT อย่างสม่ำเสมอในเกณฑ์มาตรฐาน NLP มาตรฐาน
แนวคิดเบื้องหลังวิธีการ
RoBERTa (Robustly Optimized BERT Pretraining Approach) เริ่มต้นด้วยทรานสฟอร์เมอร์แบบสองทิศทางเชิงลึกที่ได้รับการฝึกฝนแล้วบนข้อความหลายร้อยกิกะไบต์ ทำให้มีความเข้าใจบริบทของภาษาอย่างลึกซึ้ง ในการจำแนกข้อความใหม่ จะมีการวางชั้นเชิงเส้นเดี่ยวไว้บนโทเค็นสรุปพิเศษ [CLS] และโมเดลทั้งหมดจะได้รับการฝึกฝนในช่วงสั้นๆ บนชุดข้อมูลที่มีป้ายกำกับเฉพาะสำหรับงานนั้นๆ เนื่องจาก RoBERTa ได้ลบวัตถุประสงค์การทำนายประโยคถัดไปที่ใช้ใน BERT และฝึกฝนด้วยข้อมูลมากขึ้นและการปิดบังแบบไดนามิก จึงสร้างการแสดงผลที่แข็งแกร่งกว่าซึ่งต้องการข้อมูลการปรับแต่งน้อยลงเพื่อให้ได้ความแม่นยำในการจำแนกประเภทสูง
ประวัติศาสตร์
RoBERTa ถูกนำเสนอโดย Liu และคณะ ที่ Facebook AI Research และ University of Washington ในปี 2019 ในฐานะการศึกษาการจำลองและเพิ่มประสิทธิภาพที่สำคัญของ BERT ผู้เขียนแสดงให้เห็นว่า BERT ได้รับการฝึกฝนน้อยเกินไป และการลบการทำนายประโยคถัดไป การใช้การปิดบังแบบไดนามิก การฝึกฝนด้วยชุดข้อมูลที่ใหญ่ขึ้นด้วยชุดข้อมูลขนาดใหญ่ขึ้น และการใช้ประโยคเต็มโดยไม่มีบริบทข้ามเอกสาร สร้างการแสดงผลที่แข็งแกร่งขึ้นอย่างมาก โดยสร้างสถิติใหม่ใน GLUE, SQuAD และ RACE ณ เวลาที่เปิดตัว
ควรใช้เมื่อใด
เลือกใช้การจำแนกประเภทโดยใช้ RoBERTa เมื่อคุณต้องการความแม่นยำระดับ State-of-the-art ในงานจำแนกประเภทข้อความ เช่น การวิเคราะห์ความรู้สึก การติดป้ายหัวข้อ การตรวจจับเจตนา หรือการตรวจจับเนื้อหาที่เป็นพิษ และคุณมีตัวอย่างการฝึกอบรมที่มีป้ายกำกับอย่างน้อยหลายร้อยตัวอย่างต่อคลาส โมเดลนี้มีความโดดเด่นในการจับสัญญาณความหมายและไวยากรณ์ที่ซับซ้อนซึ่งโมเดลแบบ bag-of-words หรือโมเดลประสาทตื้นๆ พลาดไป หลีกเลี่ยงการใช้งานเมื่อทรัพยากรคอมพิวเตอร์มีจำกัด (ต้องใช้ GPU ในการปรับแต่งและหน่วยความจำจำนวนมาก) เมื่อโดเมนข้อความมีความเฉพาะเจาะจงสูงโดยไม่มีการฝึกฝนแบบปรับให้เข้ากับโดเมน หรือเมื่องานเกี่ยวข้องกับลำดับที่ยาวกว่า 512 โทเค็นมากโดยไม่มีกลยุทธ์การแบ่งส่วน
ข้อจำกัดและข้อควรพิจารณา
- ความยาวอินพุตสูงสุด 512 โทเค็นทำให้ไม่เหมาะสำหรับเอกสารขนาดยาวหากไม่มีการแบ่งส่วนหรือกลยุทธ์แบบลำดับชั้น
- การปรับแต่งต้องใช้ทรัพยากร GPU และเวลาในการฝึกอบรมที่ไม่น้อย การอนุมานบน CPU จะช้าสำหรับปริมาณงานการผลิต
- ขนาดโมเดลใหญ่ (พารามิเตอร์ 125M–355M) อาจไม่เหมาะสำหรับการใช้งานบนอุปกรณ์ปลายทางหรือทรัพยากรต่ำ
- ประสิทธิภาพลดลงอย่างมากในโดเมนที่มีความเฉพาะเจาะจงสูง (ทางการแพทย์ กฎหมาย วิทยาศาสตร์) เว้นแต่จะใช้เช็คพอยต์ RoBERTa เฉพาะโดเมน
- การแสดงผลภายในที่ไม่ชัดเจนทำให้การตีความเชิงสาเหตุหรือเชิงกลไกทำได้ยากหากไม่มีเครื่องมือ XAI เพิ่มเติม
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- บรรลุความแม่นยำระดับเกือบ State-of-the-art อย่างสม่ำเสมอในเกณฑ์มาตรฐานการจำแนกประเภท NLP มาตรฐาน โดยมีการปรับแต่งเฉพาะสำหรับงานน้อยที่สุด
- บริบทแบบสองทิศทางช่วยให้สามารถจับความสัมพันธ์ที่ซับซ้อนระหว่างคำที่อยู่ห่างกันได้ ซึ่งแตกต่างจากโมเดลแบบทิศทางเดียว
- การปิดบังแบบไดนามิกในระหว่างการฝึกฝนล่วงหน้าสร้างการแสดงผลที่แข็งแกร่งกว่าการปิดบังแบบคงที่ของ BERT
- สามารถปรับแต่งให้มีประสิทธิภาพด้วยชุดข้อมูลที่มีป้ายกำกับค่อนข้างน้อย (ไม่กี่ร้อยถึงไม่กี่พันตัวอย่างต่อคลาส)
- มีระบบนิเวศที่กว้างขวางของรูปแบบที่ฝึกฝนล่วงหน้า (roberta-base, roberta-large, เช็คพอยต์เฉพาะโดเมน) ที่มีให้ใช้งานผ่าน HuggingFace
- การจำแนกประเภทหลายป้ายกำกับทำได้ง่ายโดยการแทนที่ softmax ด้วย sigmoid และปรับฟังก์ชันการสูญเสีย
การประยุกต์ใช้
- การวิเคราะห์ความรู้สึกและการขุดความคิดเห็นในโซเชียลมีเดีย รีวิว และข่าวการเงิน
- การจำแนกประเภทหัวข้อและเจตนาสำหรับการสนับสนุนลูกค้า การกำหนดเส้นทางการสนทนา และการกลั่นกรองเนื้อหา
- การตรวจจับภาษาที่เป็นพิษและคำพูดแสดงความเกลียดชังบนแพลตฟอร์มออนไลน์
- การจำแนกประเภทเอกสารแบบหลายคลาสและหลายป้ายกำกับในโดเมนข่าว กฎหมาย และวิชาการ
- การจำแนกประเภทข้อเรียกร้องทางวิทยาศาสตร์และการตรวจสอบข้อเท็จจริงในไปป์ไลน์วิจัย NLP
- การเข้ารหัสข้อความทางคลินิกและการจำแนกประเภทเวชระเบียนด้วยเช็คพอยต์ RoBERTa ที่ปรับให้เข้ากับโดเมน
วิธีการทำงาน
วิธีการทำงาน
ข้อความอินพุตจะถูกแบ่งออกเป็นโทเค็นย่อยโดยใช้การเข้ารหัสคู่ไบต์ (BPE) โทเค็นพิเศษ [CLS] จะถูกเพิ่มเข้าไปข้างหน้า และโทเค็น [SEP] จะถูกเพิ่มเข้าไปข้างหลัง ลำดับที่ได้จะถูกตัดทอนหรือเติมให้มีความยาวสูงสุดคงที่ (โดยทั่วไปคือ 512 โทเค็น)
ลำดับโทเค็นจะถูกส่งผ่านตัวเข้ารหัสทรานสฟอร์เมอร์แบบสองทิศทางหลายชั้นของ RoBERTa แต่ละชั้นจะใช้การเข้ารหัสตนเองแบบหลายหัว (multi-head self-attention) และชั้นย่อยป้อนไปข้างหน้า (feed-forward) พร้อมกับการเชื่อมต่อแบบเหลือ (residual connections) เพื่อสร้างการแสดงผลที่คำนึงถึงบริบทอย่างลึกซึ้งสำหรับแต่ละโทเค็น สถานะซ่อนสุดท้ายของโทเค็น [CLS] จะทำหน้าที่เป็นการแสดงผลโดยรวมของประโยค
สูตร
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)ส่วนหัวสำหรับการจำแนกประเภทเชิงเส้น — เมทริกซ์น้ำหนัก W และไบแอส b — จะถูกนำไปใช้กับการแสดงผล [CLS] ตามด้วยฟังก์ชันเปิดใช้งาน softmax (หรือ sigmoid สำหรับหลายป้ายกำกับ) เพื่อสร้างความน่าจะเป็นของคลาส
สูตร
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})พารามิเตอร์ทั้งหมดของโมเดล — ทั้งน้ำหนักทรานสฟอร์เมอร์ที่ฝึกฝนล่วงหน้าและส่วนหัวสำหรับการจำแนกประเภทใหม่ — จะได้รับการอัปเดตพร้อมกันผ่านการไล่ระดับความชัน (gradient descent) บนตัวอย่างที่มีป้ายกำกับเฉพาะสำหรับงาน โดยทั่วไปเป็นเวลา 3–10 epochs ด้วยอัตราการเรียนรู้ที่ต่ำ (1e-5 ถึง 5e-5) และตัวจัดกำหนดการวอร์มอัปเชิงเส้น (linear warm-up scheduler) เพื่อหลีกเลี่ยงการลืมข้อมูลเดิมอย่างรุนแรง (catastrophic forgetting)
ในระหว่างการอนุมาน ข้อความอินพุตจะถูกแปลงเป็นโทเค็น ส่งผ่านตัวเข้ารหัส RoBERTa ที่ปรับแต่งแล้ว และ argmax ของเอาต์พุต softmax จะให้คลาสที่คาดการณ์ ความน่าจะเป็นสามารถถูกกำหนดขีดจำกัดสำหรับการกรองแบบหลายป้ายกำกับหรือตามความเชื่อมั่น
ข้อผิดพลาดที่พบบ่อย
- การใช้ชุดข้อมูลเดียวกันสำหรับการตรวจสอบ (validation) และการหยุดก่อนกำหนด (early stopping) โดยไม่มีชุดทดสอบแยกต่างหาก ทำให้ความแม่นยำที่รายงานสูงเกินจริง
- การลืมจัดการกับความไม่สมดุลของคลาส: การปรับแต่งบนคลาสที่มีความเบ้สูงโดยไม่มีการถ่วงน้ำหนักการสูญเสีย (weighted loss) หรือการสุ่มตัวอย่างเกิน (oversampling) ทำให้โมเดลที่ทำนายคลาสส่วนใหญ่เกือบทั้งหมด
- การตั้งค่าอัตราการเรียนรู้สูงเกินไป (สูงกว่า 5e-5) และการลืมการแสดงผลที่ฝึกฝนล่วงหน้าอย่างรุนแรงภายในขั้นตอนการฝึกอบรมไม่กี่ขั้นตอนแรก
- การตัดทอนอินพุตยาวโดยไม่พิจารณาว่าเนื้อหาที่เกี่ยวข้องอยู่ที่ส่วนท้ายหรือไม่ (เช่น ประโยคสำคัญในเอกสารทางกฎหมาย) นำไปสู่การสูญเสียข้อมูลอย่างเป็นระบบ
- การรายงานเฉพาะความแม่นยำบนชุดข้อมูลที่ไม่สมดุล แทนที่จะเป็น F1 เฉลี่ยแบบมาโคร (macro-averaged F1) ความแม่นยำ (precision) การเรียกคืน (recall) และ AUC
คำถามที่พบบ่อย
RoBERTa แตกต่างจาก BERT สำหรับการจำแนกประเภทอย่างไร?
RoBERTa ลบวัตถุประสงค์การทำนายประโยคถัดไปของ BERT ใช้การปิดบังแบบไดนามิกแทนแบบคงที่ ฝึกฝนด้วยข้อมูลมากกว่าสิบเท่าด้วย mini-batches ที่ใหญ่ขึ้น และใช้ข้อมูลอินพุตแบบประโยคเต็มแทนส่วนของเอกสาร การเปลี่ยนแปลงเหล่านี้ช่วยเพิ่มความแม่นยำในการจำแนกประเภทดาวน์สตรีมอย่างสม่ำเสมอ 1–3 จุดเปอร์เซ็นต์ในเกณฑ์มาตรฐานมาตรฐาน
ฉันต้องใช้ข้อมูลที่มีป้ายกำกับจำนวนเท่าใดในการปรับแต่ง RoBERTa?
RoBERTa สามารถปรับแต่งได้อย่างมีประสิทธิภาพด้วยตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ร้อยตัวอย่างต่อคลาสสำหรับงานแบบสองคลาสหรือแบบหยาบ แม้ว่า 1,000 ตัวอย่างหรือมากกว่าต่อคลาสจะแนะนำสำหรับประสิทธิภาพแบบหลายคลาสที่แข็งแกร่ง ด้วยตัวอย่างที่น้อยลง ให้พิจารณาการใช้ few-shot prompting กับโมเดลสร้างสรรค์หรือการเพิ่มข้อมูลแทน
ฉันควรใช้ roberta-base หรือ roberta-large?
roberta-base (พารามิเตอร์ 125M) เป็นจุดเริ่มต้นที่ใช้งานได้จริงซึ่งฝึกฝนได้เร็วขึ้นและใช้หน่วยความจำ GPU น้อยลง roberta-large (พารามิเตอร์ 355M) โดยทั่วไปจะเพิ่มความแม่นยำ 1–3 จุด โดยมีค่าใช้จ่ายในการประมวลผลและหน่วยความจำประมาณสี่เท่า ใช้ large เมื่อความแม่นยำสูงสุดมีความสำคัญและทรัพยากรเอื้ออำนวย
จะเกิดอะไรขึ้นหากข้อความของฉันยาวกว่า 512 โทเค็น?
กลยุทธ์ทั่วไป ได้แก่ การตัดให้เหลือ 512 โทเค็นแรก (ได้ผลดีเมื่อสัญญาณการจำแนกประเภทอยู่ที่จุดเริ่มต้น) การใช้หน้าต่างเลื่อน (sliding-window pooling) กับส่วนที่ทับซ้อนกัน หรือโมเดลแบบลำดับชั้นที่เข้ารหัสส่วนต่างๆ ด้วย RoBERTa และรวมผลด้วยโมเดลที่สอง
ฉันจะจัดการกับความไม่สมดุลของคลาสได้อย่างไร?
ใช้ฟังก์ชันการสูญเสียแบบ cross-entropy ที่มีการถ่วงน้ำหนัก โดยน้ำหนักแต่ละคลาสจะแปรผกผันกับความถี่ หรือสุ่มตัวอย่างคลาสส่วนน้อยเกินไป (oversample) ควรประเมินผลด้วย F1 เฉลี่ยแบบมาโครเสมอ แทนที่จะเป็นความแม่นยำ เพื่อตรวจจับอคติของคลาสส่วนใหญ่ที่เป็นระบบ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วDevlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว