การปรับจูนทรานส์ฟอร์มเมอร์ (Fine-Tuned Transformer)
- ผู้เสนอ
- Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
- ปี
- 2017–2019
- ประเภท
- Transfer learning / supervised fine-tuning
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การปรับจูนทรานส์ฟอร์มเมอร์เป็นการปรับโมเดลขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า (pre-trained model) เช่น BERT, GPT, หรือ ViT ให้เหมาะกับงานเฉพาะด้าน (downstream task) โดยการฝึกฝนแบบต่อเนื่องด้วยการไล่ระดับสี (gradient-based training) บนชุดข้อมูลเป้าหมายที่มีป้ายกำกับ (labelled target dataset) กระบวนทัศน์แบบสองขั้นตอน (ฝึกฝนล่วงหน้าแล้วปรับจูน) นี้ให้ผลลัพธ์ระดับสูงสุด (state-of-the-art) อย่างสม่ำเสมอในงานด้านการประมวลผลภาษาธรรมชาติ (NLP) และคอมพิวเตอร์วิทัศน์ (computer vision) โดยใช้ข้อมูลเฉพาะสำหรับงานนั้นน้อยกว่าการฝึกฝนตั้งแต่ต้นมาก
แนวคิดเบื้องหลังวิธีการ
ทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้าได้เรียนรู้การแทนค่า (representations) ที่สมบูรณ์ของภาษาหรือรูปภาพจากคลังข้อมูลขนาดใหญ่แล้ว การปรับจูนก็เหมือนกับการจ้างผู้เชี่ยวชาญที่รู้ลึกในสาขานั้นอยู่แล้ว และสอนงานเฉพาะของคุณให้เขา แทนที่จะเขียนความรู้ทั้งหมดใหม่ตั้งแต่ต้น คุณจะเพิ่มส่วนหัว (output head) เล็กๆ สำหรับงานของคุณ และปรับปรุงเครือข่ายทั้งหมดด้วยอัตราการเรียนรู้ที่ต่ำ (low learning rate) บนตัวอย่างที่มีป้ายกำกับของคุณ น้ำหนักที่ได้รับการฝึกฝนล่วงหน้า (pre-trained weights) เป็นจุดเริ่มต้นที่ทรงพลังและอบอุ่น ดังนั้น แม้เพียงไม่กี่ร้อยตัวอย่างที่มีป้ายกำกับก็สามารถให้ประสิทธิภาพที่แข็งแกร่งได้ ซึ่งเป็นสิ่งที่เป็นไปไม่ได้เมื่อฝึกฝนตั้งแต่ต้น
ประวัติศาสตร์
สถาปัตยกรรมทรานส์ฟอร์มเมอร์ถูกนำเสนอโดย Vaswani และคณะ ในปี 2017 โดยแทนที่เครือข่ายแบบเวียนซ้ำ (recurrent networks) ด้วยกลไกการใส่ใจตนเอง (self-attention mechanisms) Howard และ Ruder (2018) ได้กำหนดรูปแบบการปรับจูนโมเดลภาษาอย่างเป็นทางการด้วย ULMFiT และ Devlin และคณะ (2019) ได้ขยายผลไปสู่ BERT แสดงให้เห็นว่าการปรับจูนโมเดลที่ฝึกฝนล่วงหน้าเพียงโมเดลเดียวให้ผลลัพธ์สูงสุดในเกณฑ์มาตรฐาน NLP สิบเอ็ดรายการ กระบวนทัศน์การฝึกฝนล่วงหน้า-ปรับจูนนี้ได้กลายเป็นแนวทางหลักใน NLP อย่างรวดเร็ว และแพร่กระจายไปยังคอมพิวเตอร์วิทัศน์ผ่าน Vision Transformers
ควรใช้เมื่อใด
ใช้ทรานส์ฟอร์มเมอร์ที่ปรับจูนแล้วเมื่อคุณมีงานด้านข้อความ รูปภาพ หรือหลายรูปแบบ (multimodal) ที่มีป้ายกำกับ และต้องการความแม่นยำระดับสูงสุดโดยไม่ต้องฝึกฝนโมเดลขนาดใหญ่ตั้งแต่ต้น วิธีนี้จะโดดเด่นเมื่อข้อมูลที่มีป้ายกำกับมีจำกัด (หลักสิบถึงหลักพันตัวอย่าง) เนื่องจากค่าการแทนค่าที่ได้จากการฝึกฝนล่วงหน้ามีความรู้ที่จำเป็นส่วนใหญ่ เหมาะอย่างยิ่งสำหรับงาน NLP เช่น การจำแนกประเภท, NER, และการตอบคำถาม และกำลังขยายไปสู่งานด้านคอมพิวเตอร์วิทัศน์ผ่าน Vision Transformers อย่าใช้เมื่อสภาพแวดล้อมการใช้งานไม่สามารถรองรับการอนุมานโมเดลขนาดใหญ่ได้ (เช่น อุปกรณ์ปลายทางที่มีข้อจำกัดด้านเวลาแฝง/หน่วยความจำที่เข้มงวดโดยไม่มีการควอนไทซ์), เมื่อโดเมนการฝึกฝนล่วงหน้าแตกต่างจากโดเมนเป้าหมายอย่างมากและไม่มีจุดตรวจสอบเฉพาะทาง, หรือเมื่อจำเป็นต้องมีความโปร่งใสของโมเดลทั้งหมดและการตีความค่าสัมประสิทธิ์ (coefficient interpretability) โดยผู้ตรวจสอบหรือหน่วยงานกำกับดูแล
ข้อจำกัดและข้อควรพิจารณา
- โมเดลทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้ามีขนาดใหญ่ (110 ล้าน–หลายพันล้านพารามิเตอร์) ต้องใช้หน่วยความจำ GPU และพลังประมวลผลจำนวนมากสำหรับการปรับจูน
- โดยธรรมชาติเป็นกล่องดำ (black-box); การปรับจูนมาตรฐานไม่สร้างค่าสัมประสิทธิ์ที่ตีความได้ ซึ่งอาจขัดแย้งกับบรรทัดฐานการรายงานผลทางวิชาการ
- ประสิทธิภาพอาจไม่เสถียรเมื่อเทียบกับค่าเริ่มต้นแบบสุ่ม โดยเฉพาะอย่างยิ่งกับชุดข้อมูลเป้าหมายขนาดเล็ก ต้องทำการทดลองหลายครั้งเพื่อให้ได้ค่าประมาณที่น่าเชื่อถือ
- ความเสี่ยงของการลืมความรู้ที่ได้จากการฝึกฝนล่วงหน้าอย่างรุนแรงหากอัตราการเรียนรู้หรือจำนวน epoch สูงเกินไป
- ต้องการความสอดคล้องกันระหว่างโดเมนการฝึกฝนล่วงหน้าและโดเมนเป้าหมาย ความไม่ตรงกันจะทำให้ประสิทธิภาพลดลงอย่างมาก
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้ประสิทธิภาพระดับสูงสุด (state-of-the-art) ในงานที่หลากหลายด้วยตัวอย่างที่มีป้ายกำกับค่อนข้างน้อย
- ใช้ประโยชน์จากการแทนค่าที่เรียนรู้มาแล้วหลายพันล้านพารามิเตอร์ ลดปริมาณข้อมูลที่ต้องใช้ในการฝึกฝนลงอย่างมาก
- สถาปัตยกรรมที่ยืดหยุ่นรองรับงานจำแนกประเภท, การถดถอย (regression), การสร้าง (generation), การทำนายโครงสร้าง (structured prediction), และงานด้านคอมพิวเตอร์วิทัศน์ภายในกรอบการทำงานแบบรวมศูนย์
- ศูนย์รวมโมเดลที่ดูแลโดยชุมชน (Hugging Face Hub) มีจุดตรวจสอบเฉพาะทางหลายพันรายการพร้อมสำหรับการปรับจูน
- การแทนค่าตามบริบท (Contextual representations) สามารถจับความสัมพันธ์ระยะยาวที่โมเดลแบบ bag-of-words และ RNN พลาดไป
- สูตรการปรับจูนและไลบรารีที่เป็นมาตรฐาน (Transformers, PyTorch Lightning) ช่วยลดอุปสรรคในการนำไปใช้งานที่สามารถทำซ้ำได้
การประยุกต์ใช้
- การจำแนกประเภทข้อความ (การวิเคราะห์ความรู้สึก, การจัดหมวดหมู่หัวข้อ, การตรวจจับคำพูดแสดงความเกลียดชัง)
- การระบุชื่อเอนทิตี (Named entity recognition), การติดป้ายกำกับส่วนของคำพูด (part-of-speech tagging), และงานติดป้ายกำกับลำดับอื่นๆ
- การตอบคำถามและการทำความเข้าใจการอ่านจากคลังข้อมูลเฉพาะทาง
- การจำแนกประเภทรูปภาพและการรู้จำวัตถุผ่าน Vision Transformers ที่ปรับจูนแล้ว
- การวิเคราะห์เอกสารทางการแพทย์และกฎหมายโดยใช้จุดตรวจสอบเฉพาะทางที่ฝึกฝนล่วงหน้า
- งานภาษาที่มีทรัพยากรจำกัด (low-resource language tasks) ที่ข้อมูลมีป้ายกำกับน้อย แต่มีจุดตรวจสอบหลายภาษา (mBERT, XLM-R) อยู่
วิธีการทำงาน
วิธีการทำงาน
เลือกจุดตรวจสอบ (checkpoint) ของทรานส์ฟอร์มเมอร์ที่โดเมนการฝึกฝนล่วงหน้าตรงกับงานเป้าหมาย สำหรับงานด้านข้อความ โมเดลเช่น BERT, RoBERTa, หรือ GPT-2 ที่ได้รับการฝึกฝนล่วงหน้าบนคลังข้อมูลขนาดใหญ่ถือเป็นมาตรฐาน สำหรับงานด้านรูปภาพ รูปแบบต่างๆ ของ Vision Transformer (ViT) ที่ได้รับการฝึกฝนล่วงหน้าบน ImageNet หรือ CLIP เป็นที่นิยม โมเดลที่ได้รับการฝึกฝนล่วงหน้าเฉพาะทาง (เช่น BioBERT, LegalBERT) จะเป็นที่ต้องการมากกว่าเมื่อคำศัพท์ในโดเมนเป้าหมายแตกต่างจากคลังข้อมูลทั่วไป
ต่อส่วนหัวเฉพาะสำหรับงานที่มีน้ำหนักเบา (lightweight task-specific head) ไว้ด้านบนสุดของชั้นทรานส์ฟอร์มเมอร์สุดท้าย: ชั้นการจำแนกประเภทเชิงเส้น (linear classification layer) สำหรับการจำแนกประเภทลำดับ (sequence classification), ชั้นเชิงเส้นระดับโทเค็น (token-level linear layer) สำหรับการติดป้ายกำกับลำดับ (sequence labelling) (NER, POS), หรือส่วนหัวสำหรับการสกัดช่วง (span-extraction head) สำหรับการตอบคำถาม เฉพาะส่วนหัวนี้เท่านั้นที่จะถูกกำหนดค่าเริ่มต้นแบบสุ่ม (randomly initialised) ส่วนแกนกลางของทรานส์ฟอร์มเมอร์ (transformer body) จะใช้น้ำหนักที่ได้รับการฝึกฝนล่วงหน้า
แปลงชุดข้อมูลเป้าหมายที่มีป้ายกำกับให้เป็นโทเค็น (tokenise) โดยใช้ตัวแปลงโทเค็น (tokeniser) ดั้งเดิมของโมเดลเพื่อรักษาการจัดแนวคำศัพท์ (vocabulary alignment) ใช้การตัดทอน (truncation) และการเติม (padding) ให้พอดีกับความยาวลำดับสูงสุดของโมเดล แบ่งออกเป็นชุดฝึกฝน (train) และชุดตรวจสอบความถูกต้อง (validation) จัดกลุ่มตามคลาส (stratify) หากป้ายกำกับคลาสมีความไม่สมดุล คำนวณน้ำหนักคลาส (class weights) หรือใช้การสุ่มตัวอย่างเกิน (oversampling) หากมีความไม่สมดุลอย่างรุนแรง
ฝึกฝนโมเดลทั้งหมดแบบ end-to-end บนข้อมูลเป้าหมายโดยใช้อัตราการเรียนรู้ที่ต่ำ (โดยทั่วไปคือ 1e-5 ถึง 5e-5 สำหรับโมเดลตระกูล BERT) และตารางเวลาที่สั้น (2–5 epochs สำหรับงาน NLP ส่วนใหญ่) การเพิ่มอัตราการเรียนรู้แบบเชิงเส้น (linear warmup) ในช่วง 10% แรกของขั้นตอนการฝึก ตามด้วยการลดลงแบบเชิงเส้น (linear decay) เป็นแนวปฏิบัติมาตรฐาน ตรวจสอบค่าความสูญเสียบนชุดตรวจสอบความถูกต้อง (validation loss) ในแต่ละ epoch และใช้การหยุดก่อนกำหนด (early stopping) เพื่อป้องกันการลืมความรู้ที่ได้จากการฝึกฝนล่วงหน้าอย่างรุนแรง (catastrophic forgetting)
สูตร
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iประเมินผลบนชุดทดสอบที่แยกไว้ (held-out test set) โดยใช้ตัวชี้วัดที่เหมาะสมกับงาน: ความแม่นยำ (accuracy) และ macro-F1 สำหรับการจำแนกประเภท, F1 ระดับช่วง (span-level F1) สำหรับ NER และ QA, ROUGE หรือ BERTScore สำหรับการสรุปความ รายงานประสิทธิภาพโดยเฉลี่ยจากหลายๆ ค่าเริ่มต้นแบบสุ่ม (random seeds) เนื่องจากผลลัพธ์จากการปรับจูนอาจมีความอ่อนไหวต่อการกำหนดค่าเริ่มต้น โดยเฉพาะอย่างยิ่งกับชุดข้อมูลขนาดเล็ก
ข้อผิดพลาดที่พบบ่อย
- การใช้อัตราการเรียนรู้ที่สูงเกินไป (สูงกว่า 1e-4) ทำให้เกิดการลืมน้ำหนักที่ได้จากการฝึกฝนล่วงหน้าอย่างรุนแรง
- การปรับจูนนานเกินไปโดยไม่มีการหยุดก่อนกำหนด นำไปสู่การเรียนรู้เกิน (overfitting) บนชุดข้อมูลเป้าหมายขนาดเล็ก
- การรายงานผลลัพธ์จากการปรับจูนเพียงครั้งเดียวโดยไม่เฉลี่ยจากค่าเริ่มต้นแบบสุ่มหลายค่า ทำให้ปกปิดความแปรปรวนที่สูง
- การละเลยการจัดแนวโทเค็นโดยใช้ตัวแปลงโทเค็นที่แตกต่างจากที่ใช้ระหว่างการฝึกฝนล่วงหน้า
- การเลือกจุดตรวจสอบทั่วไปเมื่อมีโมเดลเฉพาะทาง (เช่น BioBERT, SciBERT) ที่เหมาะสมกว่าอย่างชัดเจน
คำถามที่พบบ่อย
ต้องใช้ข้อมูลที่มีป้ายกำกับจำนวนเท่าใดในการปรับจูนทรานส์ฟอร์มเมอร์?
ขึ้นอยู่กับความซับซ้อนของงาน แต่ทรานส์ฟอร์มเมอร์มีประสิทธิภาพด้านข้อมูล (data-efficient) เป็นพิเศษ งานจำแนกประเภทมักจะได้ผลดีด้วยข้อมูลที่มีป้ายกำกับตั้งแต่ไม่กี่ร้อยถึงไม่กี่พันตัวอย่าง สำหรับชุดข้อมูลที่เล็กมาก (ต่ำกว่าประมาณ 200 ตัวอย่าง) วิธีการแบบ few-shot หรือ parameter-efficient เช่น LoRA หรือ prompt tuning อาจมีความเสถียรมากกว่า
ควรงดการฝึกแกนกลางของทรานส์ฟอร์มเมอร์และฝึกเฉพาะส่วนหัวหรือไม่?
การปรับจูนแบบ end-to-end เต็มรูปแบบให้ประสิทธิภาพเหนือกว่าการฝึกเฉพาะส่วนหัวในเกือบทุกกรณี การงดการฝึกแกนกลางมีประโยชน์หลักเมื่อคุณมีตัวอย่างน้อยมากหรือมีทรัพยากรประมวลผลจำกัด แต่จะทำให้การปรับค่าการแทนค่าให้เหมาะกับงานเฉพาะลดลง
ควรใช้อัตราการเรียนรู้เท่าใด?
โมเดลตระกูล BERT มีความอ่อนไหวต่ออัตราการเรียนรู้ ค่าระหว่าง 1e-5 ถึง 5e-5 พร้อมกับการเพิ่มอัตราการเรียนรู้แบบเชิงเส้นในช่วง 6–10% ของขั้นตอนทั้งหมดเป็นจุดเริ่มต้นมาตรฐาน อัตราที่สูงกว่า 1e-4 มักจะทำให้เกิดการลืมความรู้ที่ได้จากการฝึกฝนล่วงหน้าอย่างรุนแรง
จะเลือกระหว่างจุดตรวจสอบที่ฝึกฝนล่วงหน้าต่างๆ ได้อย่างไร?
ควรเลือกจุดตรวจสอบที่ตรงกับโดเมน (BioBERT สำหรับการแพทย์, LegalBERT สำหรับกฎหมาย, SciBERT สำหรับวิทยาศาสตร์) เมื่อมีให้ สำหรับงานทั่วไป RoBERTa หรือ DeBERTa มักจะให้ผลลัพธ์ที่ดีกว่า BERT แบบดั้งเดิม ตรวจสอบกระดานผู้นำโมเดลของ Hugging Face สำหรับเกณฑ์มาตรฐานเฉพาะงาน
ทรานส์ฟอร์มเมอร์ที่ปรับจูนแล้วมีความสามารถในการตีความเพียงพอสำหรับการรายงานผลทางวิชาการหรือไม่?
ไม่ใช่ในแง่ของการรายงานค่าสัมประสิทธิ์แบบดั้งเดิม อย่างไรก็ตาม การแสดงภาพการใส่ใจ (attention visualisation), integrated gradients, และคำอธิบายที่ใช้ SHAP สามารถแสดงให้เห็นว่าโทเค็นใดเป็นตัวขับเคลื่อนการทำนาย เทคนิคเหล่านี้ได้รับการยอมรับมากขึ้นในการวิจัย NLP ประยุกต์ แต่อาจไม่เป็นที่พอใจของผู้ตรวจสอบในบริบทสังคมศาสตร์ที่ต้องการการยืนยันอย่างเข้มงวด
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วDevlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว