Skip to content
กลับไปยังผลการค้นหา

การจำแนกประเภทโดยใช้ RoBERTa

ผู้เสนอ
Liu, Y. et al. (Facebook AI Research / University of Washington)
ปี
2019
ประเภท
Pre-trained transformer fine-tuned for sequence classification
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกประเภทโดยใช้ RoBERTa ประยุกต์ใช้โมเดล RoBERTa ที่ได้รับการฝึกฝนล่วงหน้า — ซึ่งได้รับการฝึกฝนอย่างแข็งแกร่งกว่า BERT ด้วยการปิดบังแบบไดนามิกและชุดข้อมูลขนาดใหญ่กว่า — สำหรับงานจัดหมวดหมู่ข้อความ โดยการเพิ่มส่วนหัวสำหรับการจำแนกประเภทที่มีน้ำหนักเบาบนส่วนแสดงผลของโทเค็น [CLS] และปรับโมเดลทั้งหมดให้เหมาะสมกับตัวอย่างที่มีป้ายกำกับ โมเดลนี้มีความแม่นยำเทียบเท่าหรือสูงกว่า BERT อย่างสม่ำเสมอในเกณฑ์มาตรฐาน NLP มาตรฐาน

แนวคิดเบื้องหลังวิธีการ

RoBERTa (Robustly Optimized BERT Pretraining Approach) เริ่มต้นด้วยทรานสฟอร์เมอร์แบบสองทิศทางเชิงลึกที่ได้รับการฝึกฝนแล้วบนข้อความหลายร้อยกิกะไบต์ ทำให้มีความเข้าใจบริบทของภาษาอย่างลึกซึ้ง ในการจำแนกข้อความใหม่ จะมีการวางชั้นเชิงเส้นเดี่ยวไว้บนโทเค็นสรุปพิเศษ [CLS] และโมเดลทั้งหมดจะได้รับการฝึกฝนในช่วงสั้นๆ บนชุดข้อมูลที่มีป้ายกำกับเฉพาะสำหรับงานนั้นๆ เนื่องจาก RoBERTa ได้ลบวัตถุประสงค์การทำนายประโยคถัดไปที่ใช้ใน BERT และฝึกฝนด้วยข้อมูลมากขึ้นและการปิดบังแบบไดนามิก จึงสร้างการแสดงผลที่แข็งแกร่งกว่าซึ่งต้องการข้อมูลการปรับแต่งน้อยลงเพื่อให้ได้ความแม่นยำในการจำแนกประเภทสูง

ประวัติศาสตร์

RoBERTa ถูกนำเสนอโดย Liu และคณะ ที่ Facebook AI Research และ University of Washington ในปี 2019 ในฐานะการศึกษาการจำลองและเพิ่มประสิทธิภาพที่สำคัญของ BERT ผู้เขียนแสดงให้เห็นว่า BERT ได้รับการฝึกฝนน้อยเกินไป และการลบการทำนายประโยคถัดไป การใช้การปิดบังแบบไดนามิก การฝึกฝนด้วยชุดข้อมูลที่ใหญ่ขึ้นด้วยชุดข้อมูลขนาดใหญ่ขึ้น และการใช้ประโยคเต็มโดยไม่มีบริบทข้ามเอกสาร สร้างการแสดงผลที่แข็งแกร่งขึ้นอย่างมาก โดยสร้างสถิติใหม่ใน GLUE, SQuAD และ RACE ณ เวลาที่เปิดตัว

ควรใช้เมื่อใด

เลือกใช้การจำแนกประเภทโดยใช้ RoBERTa เมื่อคุณต้องการความแม่นยำระดับ State-of-the-art ในงานจำแนกประเภทข้อความ เช่น การวิเคราะห์ความรู้สึก การติดป้ายหัวข้อ การตรวจจับเจตนา หรือการตรวจจับเนื้อหาที่เป็นพิษ และคุณมีตัวอย่างการฝึกอบรมที่มีป้ายกำกับอย่างน้อยหลายร้อยตัวอย่างต่อคลาส โมเดลนี้มีความโดดเด่นในการจับสัญญาณความหมายและไวยากรณ์ที่ซับซ้อนซึ่งโมเดลแบบ bag-of-words หรือโมเดลประสาทตื้นๆ พลาดไป หลีกเลี่ยงการใช้งานเมื่อทรัพยากรคอมพิวเตอร์มีจำกัด (ต้องใช้ GPU ในการปรับแต่งและหน่วยความจำจำนวนมาก) เมื่อโดเมนข้อความมีความเฉพาะเจาะจงสูงโดยไม่มีการฝึกฝนแบบปรับให้เข้ากับโดเมน หรือเมื่องานเกี่ยวข้องกับลำดับที่ยาวกว่า 512 โทเค็นมากโดยไม่มีกลยุทธ์การแบ่งส่วน

ข้อจำกัดและข้อควรพิจารณา

  • ความยาวอินพุตสูงสุด 512 โทเค็นทำให้ไม่เหมาะสำหรับเอกสารขนาดยาวหากไม่มีการแบ่งส่วนหรือกลยุทธ์แบบลำดับชั้น
  • การปรับแต่งต้องใช้ทรัพยากร GPU และเวลาในการฝึกอบรมที่ไม่น้อย การอนุมานบน CPU จะช้าสำหรับปริมาณงานการผลิต
  • ขนาดโมเดลใหญ่ (พารามิเตอร์ 125M–355M) อาจไม่เหมาะสำหรับการใช้งานบนอุปกรณ์ปลายทางหรือทรัพยากรต่ำ
  • ประสิทธิภาพลดลงอย่างมากในโดเมนที่มีความเฉพาะเจาะจงสูง (ทางการแพทย์ กฎหมาย วิทยาศาสตร์) เว้นแต่จะใช้เช็คพอยต์ RoBERTa เฉพาะโดเมน
  • การแสดงผลภายในที่ไม่ชัดเจนทำให้การตีความเชิงสาเหตุหรือเชิงกลไกทำได้ยากหากไม่มีเครื่องมือ XAI เพิ่มเติม

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • บรรลุความแม่นยำระดับเกือบ State-of-the-art อย่างสม่ำเสมอในเกณฑ์มาตรฐานการจำแนกประเภท NLP มาตรฐาน โดยมีการปรับแต่งเฉพาะสำหรับงานน้อยที่สุด
  • บริบทแบบสองทิศทางช่วยให้สามารถจับความสัมพันธ์ที่ซับซ้อนระหว่างคำที่อยู่ห่างกันได้ ซึ่งแตกต่างจากโมเดลแบบทิศทางเดียว
  • การปิดบังแบบไดนามิกในระหว่างการฝึกฝนล่วงหน้าสร้างการแสดงผลที่แข็งแกร่งกว่าการปิดบังแบบคงที่ของ BERT
  • สามารถปรับแต่งให้มีประสิทธิภาพด้วยชุดข้อมูลที่มีป้ายกำกับค่อนข้างน้อย (ไม่กี่ร้อยถึงไม่กี่พันตัวอย่างต่อคลาส)
  • มีระบบนิเวศที่กว้างขวางของรูปแบบที่ฝึกฝนล่วงหน้า (roberta-base, roberta-large, เช็คพอยต์เฉพาะโดเมน) ที่มีให้ใช้งานผ่าน HuggingFace
  • การจำแนกประเภทหลายป้ายกำกับทำได้ง่ายโดยการแทนที่ softmax ด้วย sigmoid และปรับฟังก์ชันการสูญเสีย

การประยุกต์ใช้

  • การวิเคราะห์ความรู้สึกและการขุดความคิดเห็นในโซเชียลมีเดีย รีวิว และข่าวการเงิน
  • การจำแนกประเภทหัวข้อและเจตนาสำหรับการสนับสนุนลูกค้า การกำหนดเส้นทางการสนทนา และการกลั่นกรองเนื้อหา
  • การตรวจจับภาษาที่เป็นพิษและคำพูดแสดงความเกลียดชังบนแพลตฟอร์มออนไลน์
  • การจำแนกประเภทเอกสารแบบหลายคลาสและหลายป้ายกำกับในโดเมนข่าว กฎหมาย และวิชาการ
  • การจำแนกประเภทข้อเรียกร้องทางวิทยาศาสตร์และการตรวจสอบข้อเท็จจริงในไปป์ไลน์วิจัย NLP
  • การเข้ารหัสข้อความทางคลินิกและการจำแนกประเภทเวชระเบียนด้วยเช็คพอยต์ RoBERTa ที่ปรับให้เข้ากับโดเมน

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความอินพุตจะถูกแบ่งออกเป็นโทเค็นย่อยโดยใช้การเข้ารหัสคู่ไบต์ (BPE) โทเค็นพิเศษ [CLS] จะถูกเพิ่มเข้าไปข้างหน้า และโทเค็น [SEP] จะถูกเพิ่มเข้าไปข้างหลัง ลำดับที่ได้จะถูกตัดทอนหรือเติมให้มีความยาวสูงสุดคงที่ (โดยทั่วไปคือ 512 โทเค็น)

2

ลำดับโทเค็นจะถูกส่งผ่านตัวเข้ารหัสทรานสฟอร์เมอร์แบบสองทิศทางหลายชั้นของ RoBERTa แต่ละชั้นจะใช้การเข้ารหัสตนเองแบบหลายหัว (multi-head self-attention) และชั้นย่อยป้อนไปข้างหน้า (feed-forward) พร้อมกับการเชื่อมต่อแบบเหลือ (residual connections) เพื่อสร้างการแสดงผลที่คำนึงถึงบริบทอย่างลึกซึ้งสำหรับแต่ละโทเค็น สถานะซ่อนสุดท้ายของโทเค็น [CLS] จะทำหน้าที่เป็นการแสดงผลโดยรวมของประโยค

สูตร
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)
3

ส่วนหัวสำหรับการจำแนกประเภทเชิงเส้น — เมทริกซ์น้ำหนัก W และไบแอส b — จะถูกนำไปใช้กับการแสดงผล [CLS] ตามด้วยฟังก์ชันเปิดใช้งาน softmax (หรือ sigmoid สำหรับหลายป้ายกำกับ) เพื่อสร้างความน่าจะเป็นของคลาส

สูตร
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})
4

พารามิเตอร์ทั้งหมดของโมเดล — ทั้งน้ำหนักทรานสฟอร์เมอร์ที่ฝึกฝนล่วงหน้าและส่วนหัวสำหรับการจำแนกประเภทใหม่ — จะได้รับการอัปเดตพร้อมกันผ่านการไล่ระดับความชัน (gradient descent) บนตัวอย่างที่มีป้ายกำกับเฉพาะสำหรับงาน โดยทั่วไปเป็นเวลา 3–10 epochs ด้วยอัตราการเรียนรู้ที่ต่ำ (1e-5 ถึง 5e-5) และตัวจัดกำหนดการวอร์มอัปเชิงเส้น (linear warm-up scheduler) เพื่อหลีกเลี่ยงการลืมข้อมูลเดิมอย่างรุนแรง (catastrophic forgetting)

5

ในระหว่างการอนุมาน ข้อความอินพุตจะถูกแปลงเป็นโทเค็น ส่งผ่านตัวเข้ารหัส RoBERTa ที่ปรับแต่งแล้ว และ argmax ของเอาต์พุต softmax จะให้คลาสที่คาดการณ์ ความน่าจะเป็นสามารถถูกกำหนดขีดจำกัดสำหรับการกรองแบบหลายป้ายกำกับหรือตามความเชื่อมั่น

ข้อผิดพลาดที่พบบ่อย

  • การใช้ชุดข้อมูลเดียวกันสำหรับการตรวจสอบ (validation) และการหยุดก่อนกำหนด (early stopping) โดยไม่มีชุดทดสอบแยกต่างหาก ทำให้ความแม่นยำที่รายงานสูงเกินจริง
  • การลืมจัดการกับความไม่สมดุลของคลาส: การปรับแต่งบนคลาสที่มีความเบ้สูงโดยไม่มีการถ่วงน้ำหนักการสูญเสีย (weighted loss) หรือการสุ่มตัวอย่างเกิน (oversampling) ทำให้โมเดลที่ทำนายคลาสส่วนใหญ่เกือบทั้งหมด
  • การตั้งค่าอัตราการเรียนรู้สูงเกินไป (สูงกว่า 5e-5) และการลืมการแสดงผลที่ฝึกฝนล่วงหน้าอย่างรุนแรงภายในขั้นตอนการฝึกอบรมไม่กี่ขั้นตอนแรก
  • การตัดทอนอินพุตยาวโดยไม่พิจารณาว่าเนื้อหาที่เกี่ยวข้องอยู่ที่ส่วนท้ายหรือไม่ (เช่น ประโยคสำคัญในเอกสารทางกฎหมาย) นำไปสู่การสูญเสียข้อมูลอย่างเป็นระบบ
  • การรายงานเฉพาะความแม่นยำบนชุดข้อมูลที่ไม่สมดุล แทนที่จะเป็น F1 เฉลี่ยแบบมาโคร (macro-averaged F1) ความแม่นยำ (precision) การเรียกคืน (recall) และ AUC

คำถามที่พบบ่อย

RoBERTa แตกต่างจาก BERT สำหรับการจำแนกประเภทอย่างไร?

RoBERTa ลบวัตถุประสงค์การทำนายประโยคถัดไปของ BERT ใช้การปิดบังแบบไดนามิกแทนแบบคงที่ ฝึกฝนด้วยข้อมูลมากกว่าสิบเท่าด้วย mini-batches ที่ใหญ่ขึ้น และใช้ข้อมูลอินพุตแบบประโยคเต็มแทนส่วนของเอกสาร การเปลี่ยนแปลงเหล่านี้ช่วยเพิ่มความแม่นยำในการจำแนกประเภทดาวน์สตรีมอย่างสม่ำเสมอ 1–3 จุดเปอร์เซ็นต์ในเกณฑ์มาตรฐานมาตรฐาน

ฉันต้องใช้ข้อมูลที่มีป้ายกำกับจำนวนเท่าใดในการปรับแต่ง RoBERTa?

RoBERTa สามารถปรับแต่งได้อย่างมีประสิทธิภาพด้วยตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ร้อยตัวอย่างต่อคลาสสำหรับงานแบบสองคลาสหรือแบบหยาบ แม้ว่า 1,000 ตัวอย่างหรือมากกว่าต่อคลาสจะแนะนำสำหรับประสิทธิภาพแบบหลายคลาสที่แข็งแกร่ง ด้วยตัวอย่างที่น้อยลง ให้พิจารณาการใช้ few-shot prompting กับโมเดลสร้างสรรค์หรือการเพิ่มข้อมูลแทน

ฉันควรใช้ roberta-base หรือ roberta-large?

roberta-base (พารามิเตอร์ 125M) เป็นจุดเริ่มต้นที่ใช้งานได้จริงซึ่งฝึกฝนได้เร็วขึ้นและใช้หน่วยความจำ GPU น้อยลง roberta-large (พารามิเตอร์ 355M) โดยทั่วไปจะเพิ่มความแม่นยำ 1–3 จุด โดยมีค่าใช้จ่ายในการประมวลผลและหน่วยความจำประมาณสี่เท่า ใช้ large เมื่อความแม่นยำสูงสุดมีความสำคัญและทรัพยากรเอื้ออำนวย

จะเกิดอะไรขึ้นหากข้อความของฉันยาวกว่า 512 โทเค็น?

กลยุทธ์ทั่วไป ได้แก่ การตัดให้เหลือ 512 โทเค็นแรก (ได้ผลดีเมื่อสัญญาณการจำแนกประเภทอยู่ที่จุดเริ่มต้น) การใช้หน้าต่างเลื่อน (sliding-window pooling) กับส่วนที่ทับซ้อนกัน หรือโมเดลแบบลำดับชั้นที่เข้ารหัสส่วนต่างๆ ด้วย RoBERTa และรวมผลด้วยโมเดลที่สอง

ฉันจะจัดการกับความไม่สมดุลของคลาสได้อย่างไร?

ใช้ฟังก์ชันการสูญเสียแบบ cross-entropy ที่มีการถ่วงน้ำหนัก โดยน้ำหนักแต่ละคลาสจะแปรผกผันกับความถี่ หรือสุ่มตัวอย่างคลาสส่วนน้อยเกินไป (oversample) ควรประเมินผลด้วย F1 เฉลี่ยแบบมาโครเสมอ แทนที่จะเป็นความแม่นยำ เพื่อตรวจจับอคติของคลาสส่วนใหญ่ที่เป็นระบบ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว