Skip to content
กลับไปยังผลการค้นหา

Fine-Tuned LSTM

ผู้เสนอ
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
ปี
2018 (fine-tuning paradigm formalised); LSTM core: 1997
ประเภท
Supervised sequential model with transfer learning
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Fine-Tuned LSTM คือการปรับโมเดล Long Short-Term Memory (LSTM) ที่ได้รับการฝึกฝนล่วงหน้า (pre-trained) บนคลังข้อมูลขนาดใหญ่ ให้เหมาะสมกับงานเฉพาะทาง (downstream task) เช่น การจำแนกประเภทข้อความ การวิเคราะห์ความรู้สึก หรือการติดป้ายลำดับ โดยการฝึกฝนต่อไปบนข้อมูลที่มีป้ายกำกับ (labeled data) เฉพาะสำหรับงานนั้น แนวทางนี้ซึ่งได้รับความนิยมจากเฟรมเวิร์ก ULMFiT สามารถให้ผลลัพธ์ที่แข็งแกร่งได้ แม้ว่าข้อมูลที่มีป้ายกำกับจะมีอยู่อย่างจำกัดก็ตาม

แนวคิดเบื้องหลังวิธีการ

การฝึกโมเดล LSTM ตั้งแต่ต้นบนชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก มักให้ผลลัพธ์ที่ไม่ดีนัก เนื่องจากเครือข่ายต้องเรียนรู้ทั้งโครงสร้างของภาษาและตัวงานไปพร้อมกัน การปรับแต่ง (fine-tuning) ช่วยแยกข้อกังวลเหล่านี้ออกจากกัน: คลังข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับจะสอนให้เครือข่ายเรียนรู้การแทนลำดับทั่วไป (sequential representations) จากนั้นชุดข้อมูลขนาดเล็กที่มีป้ายกำกับจะชี้นำการแทนเหล่านั้นไปสู่งานเป้าหมาย น้ำหนักที่ได้รับการฝึกฝนล่วงหน้าทำหน้าที่เป็นจุดเริ่มต้นที่มีความรู้ เพื่อให้น้ำหนักการไล่ระดับสี (gradient updates) ในระหว่างการปรับแต่งทำการปรับเปลี่ยนที่ตรงเป้าหมาย แทนที่จะเรียนรู้ทุกอย่างจากการเริ่มต้นแบบสุ่ม

ประวัติศาสตร์

สถาปัตยกรรม LSTM ถูกนำเสนอโดย Hochreiter และ Schmidhuber ในปี 1997 เพื่อแก้ไขปัญหาการไล่ระดับสีที่หายไป (vanishing-gradient problem) ในเครือข่ายเวียนซ้ำ (recurrent networks) การปรับแต่ง LSTM ที่ฝึกฝนล่วงหน้าสำหรับงาน NLP กลายเป็นกระแสหลักด้วย ULMFiT (2018) ของ Howard และ Ruder ซึ่งแสดงให้เห็นว่าการฝึกสามขั้นตอน — การฝึกโมเดลภาษาล่วงหน้า การปรับโดเมน และการปรับแต่งงาน — ช่วยลดปริมาณข้อมูลที่มีป้ายกำกับที่ต้องการสำหรับงานจำแนกประเภทข้อความที่แข็งแกร่งได้อย่างมาก ULMFiT มีอิทธิพลต่อคลื่นการปรับแต่ง Transformer ที่ฝึกฝนล่วงหน้า (BERT, GPT) ที่ตามมา ซึ่งปัจจุบันครองเกณฑ์มาตรฐาน NLP

ควรใช้เมื่อใด

Fine-Tuned LSTM เหมาะสมเมื่อคุณมีข้อมูลลำดับหรือข้อมูลข้อความ มีตัวอย่างที่มีป้ายกำกับเฉพาะสำหรับงานจำนวนจำกัด (หลักสิบถึงหลักพันต้นๆ) และสามารถเข้าถึงหรือโหลดโมเดลภาษา LSTM ที่ได้รับการฝึกฝนล่วงหน้าได้ โมเดลนี้มีความโดดเด่นในการจำแนกประเภทข้อความ การวิเคราะห์ความรู้สึก และการติดป้ายลำดับ ซึ่งโมเดล Transformer แบบเต็มมีทรัพยากรมากเกินไป หรือความยาวลำดับไม่มากนัก ควรหลีกเลี่ยงเมื่อมีข้อมูลที่มีป้ายกำกับจำนวนมากและสามารถฝึกฝนตั้งแต่ต้นได้ เมื่อโดเมนเป้าหมายมีความเฉพาะทางสูงและไม่มีโมเดลที่ฝึกฝนล่วงหน้าที่เหมาะสม หรือเมื่องานต้องการการพึ่งพาระยะยาว (long-range dependencies) ที่ Transformer จัดการได้ดีกว่า สำหรับคลังข้อมูลที่มีป้ายกำกับขนาดใหญ่ การปรับแต่งโมเดลที่ใช้ BERT เป็นฐานมักให้ผลลัพธ์ที่ดีกว่าแนวทางที่ใช้ LSTM

ข้อจำกัดและข้อควรพิจารณา

  • ประสิทธิภาพในงานข้อความโดยทั่วไปต่ำกว่าโมเดล Transformer ที่ปรับแต่งแล้ว (เช่น BERT, RoBERTa) เมื่อมีทรัพยากรเพียงพอ
  • คุณภาพขึ้นอยู่กับความเกี่ยวข้องของคลังข้อมูลที่ใช้ฝึกฝนล่วงหน้ากับโดเมนเป้าหมายอย่างมาก
  • การฝึก LSTM โดยเนื้อแท้แล้วเป็นแบบลำดับและไม่สามารถประมวลผลแบบขนานข้ามช่วงเวลา (time steps) ได้ ทำให้การฝึกฝนล่วงหน้าช้าบนลำดับที่ยาว
  • การปลดล็อกแบบค่อยเป็นค่อยไปและอัตราการเรียนรู้แบบเลือกปฏิบัติเพิ่มไฮเปอร์พารามิเตอร์ (hyperparameters) ที่ต้องมีการปรับแต่งอย่างระมัดระวัง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • มีประสิทธิภาพในสภาวะที่มีข้อมูลน้อย: การแทนค่าที่ได้รับการฝึกฝนล่วงหน้าชดเชยตัวอย่างที่มีป้ายกำกับจำกัด
  • ต้นทุนการคำนวณต่ำกว่าการปรับแต่งโมเดล Transformer ขนาดใหญ่บนฮาร์ดแวร์ที่ใช้ CPU เพียงอย่างเดียว หรือมีข้อจำกัดด้านหน่วยความจำ
  • การปลดล็อกแบบค่อยเป็นค่อยไปและอัตราการเรียนรู้แบบเลือกปฏิบัติช่วยลดการลืมความรู้ที่ฝึกฝนล่วงหน้า (catastrophic forgetting)
  • จัดการลำดับที่มีความยาวแปรผันได้อย่างเป็นธรรมชาติ โดยไม่ต้องใช้กลไก attention ที่ต้องมีการ padding จำนวนมาก
  • เหมาะสมกับการอนุมานแบบสตรีมมิ่ง (streaming) หรือแบบเรียลไทม์ เนื่องจากลักษณะการคำนวณแบบลำดับของ LSTM

การประยุกต์ใช้

  • การจำแนกประเภทข้อความด้วยข้อมูลที่มีป้ายกำกับจำกัด (ความรู้สึก หัวข้อ เจตนา)
  • งานติดป้ายลำดับ เช่น การรู้จำชื่อเฉพาะ (named entity recognition) และการติดป้ายส่วนของคำพูด (part-of-speech tagging)
  • การตรวจจับความผิดปกติของอนุกรมเวลาและการพยากรณ์ เมื่อมี LSTM ที่ฝึกฝนล่วงหน้าเฉพาะสำหรับโดเมน
  • NLP สำหรับภาษาที่มีทรัพยากรน้อย (low-resource language) ซึ่งไม่มีโมเดล Transformer ที่ฝึกฝนล่วงหน้า
  • สถานการณ์การใช้งานบนอุปกรณ์ Edge หรืออุปกรณ์ฝังตัว (embedded deployment) ที่ต้องการโมเดลลำดับขนาดเล็กกว่า Transformer แบบเต็ม
  • ไปป์ไลน์การปรับโดเมนแบบวนซ้ำ (iterative domain adaptation pipelines) ที่ LSTM ทั่วไปจะถูกปรับให้เชี่ยวชาญสำหรับโดเมนใหม่ๆ อย่างต่อเนื่อง

วิธีการทำงาน

วิธีการทำงาน

1

โมเดล LSTM แบบหลายชั้น (multi-layer LSTM) จะถูกฝึกฝนเป็นโมเดลภาษา (language model) บนคลังข้อมูลทั่วไปขนาดใหญ่ (เช่น WikiText-103) เพื่อทำนายโทเค็นถัดไปในลำดับ ขั้นตอนนี้จะปลูกฝังการแทนลำดับและความหมายที่สมบูรณ์ในสถานะซ่อนเร้น (hidden states) โดยไม่จำเป็นต้องใช้ป้ายกำกับงานใดๆ

2

เมื่อปรับให้เข้ากับโดเมนใหม่ เลเยอร์จะถูกปลดล็อก (unfrozen) อย่างค่อยเป็นค่อยไป โดยเริ่มจากเลเยอร์เอาต์พุตเข้ามาด้านใน ซึ่งเป็นเทคนิคที่เรียกว่า gradual unfreezing วิธีนี้จะป้องกันการลืมความรู้เดิม (catastrophic forgetting) ของการแทนค่าที่ได้รับการฝึกฝนล่วงหน้า โดยอนุญาตให้เลเยอร์ก่อนหน้าอัปเดตได้ก็ต่อเมื่อเลเยอร์ที่อยู่ด้านหลังได้เสถียรแล้วกับงานใหม่

3

ส่วนหัวเอาต์พุตเฉพาะสำหรับงาน (task-specific output head) (เช่น ตัวจำแนกประเภท softmax, เลเยอร์ CRF สำหรับการติดป้ายลำดับ หรือส่วนหัวสำหรับการถดถอย) จะถูกต่อท้ายสถานะซ่อนเร้นสุดท้ายของ LSTM ส่วนหัวนี้จะถูกฝึกฝนก่อน โดยที่ส่วนลำตัวของ LSTM ถูกล็อกไว้ จากนั้นทั้งเครือข่ายจะถูกปรับแต่งแบบ end-to-end

4

การปรับแต่งแบบเลือกปฏิบัติ (Discriminative fine-tuning) กำหนดอัตราการเรียนรู้ (learning rates) ที่แตกต่างกันสำหรับแต่ละเลเยอร์ของ LSTM โดยมีอัตราที่ต่ำกว่าสำหรับเลเยอร์แรกๆ ที่เก็บคุณสมบัติทั่วไป และอัตราที่สูงกว่าสำหรับเลเยอร์หลังๆ ที่อยู่ใกล้กับงานมากขึ้น Howard & Ruder ได้เสนอให้หารอัตราการเรียนรู้ด้วยแฟกเตอร์ 2.6 ต่อเลเยอร์ โดยไล่จากเอาต์พุตไปยังอินพุต

สูตร
\eta_l = \eta_{L} / (2.6)^{L - l}
5

เครือข่ายที่ปลดล็อกทั้งหมดจะถูกฝึกฝนบนชุดข้อมูลเป้าหมายที่มีป้ายกำกับ โดยทั่วไปจะใช้วิธีการตารางอัตราการเรียนรู้แบบสามเหลี่ยมที่ลาดเอียง (slanted triangular learning rate schedule) ซึ่งจะเพิ่มขึ้นอย่างรวดเร็วจนถึงจุดสูงสุดแล้วจึงลดลง ประสิทธิภาพจะถูกประเมินบนชุดข้อมูลตรวจสอบ (validation set) ที่แยกไว้ โดยใช้เมตริกที่เหมาะสมกับงาน (เช่น accuracy, F1, AUROC) และเลือก checkpoint ที่ดีที่สุด

ข้อผิดพลาดที่พบบ่อย

  • การข้ามขั้นตอนการปลดล็อกแบบค่อยเป็นค่อยไปและการปรับแต่งเลเยอร์ทั้งหมดพร้อมกัน ทำให้เกิดการลืมความรู้ที่ฝึกฝนล่วงหน้า (catastrophic forgetting) ของการแทนค่าที่ฝึกฝนล่วงหน้า
  • การใช้โมเดลที่ฝึกฝนล่วงหน้าจากโดเมนที่ไม่ตรงกัน (เช่น ข้อความทั่วไปบนเว็บสำหรับลำดับชีวการแพทย์ที่มีความเฉพาะทางสูง) โดยไม่มีการปรับโดเมนระหว่างทาง
  • การประเมินผลเฉพาะบนชุดข้อมูลฝึกฝน หรือการไม่ติดตามค่า loss บนชุดข้อมูลตรวจสอบเพื่อตรวจจับการเรียนรู้เกิน (overfitting) บนชุดข้อมูลเป้าหมายขนาดเล็ก
  • การตั้งค่าอัตราการเรียนรู้แบบเดียวกันสำหรับทุกเลเยอร์ของ LSTM แทนที่จะใช้อัตราแบบเลือกปฏิบัติ
  • การละเลยความไม่สมดุลของคลาส (class imbalance) ในส่วนหัวการจำแนกประเภท ซึ่งนำไปสู่ความแม่นยำที่สูงเกินจริงในคลาสส่วนใหญ่

คำถามที่พบบ่อย

Fine-Tuned LSTM ยังคงแข่งขันกับโมเดลที่ใช้ BERT ได้หรือไม่?

สำหรับเกณฑ์มาตรฐาน NLP ส่วนใหญ่ โมเดล Transformer ที่ปรับแต่งแล้วให้ผลลัพธ์ที่ดีกว่า LSTM ที่ปรับแต่งแล้วเมื่อมีทรัพยากรเพียงพอ อย่างไรก็ตาม Fine-Tuned LSTM ยังคงแข่งขันได้ในชุดข้อมูลขนาดเล็ก ในสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากร และสำหรับงานอนุมานแบบสตรีมมิ่งที่การคำนวณแบบลำดับของ LSTM เป็นข้อได้เปรียบ

ควรใช้ LSTM ที่ฝึกฝนล่วงหน้าตัวใด?

สำหรับ NLP ภาษาอังกฤษ น้ำหนัก AWD-LSTM ที่ฝึกฝนบน WikiText-103 (เผยแพร่โดยผู้เขียน ULMFiT ผ่าน fastai) เป็นจุดเริ่มต้นมาตรฐาน สำหรับงานเฉพาะทางโดเมน การฝึกฝนโดเมนระหว่างทางบนข้อความที่ไม่มีป้ายกำกับในโดเมนนั้นๆ ก่อนการปรับแต่งงาน มักจะให้ผลลัพธ์ที่ดีขึ้นอย่างมีความหมาย

โดยทั่วไปต้องใช้กี่ epoch ในการปรับแต่ง?

การปรับแต่งเฉพาะสำหรับงานมักต้องการเพียง 2–10 epoch บนชุดข้อมูลที่มีป้ายกำกับ ให้ติดตามค่า loss บนชุดข้อมูลตรวจสอบอย่างใกล้ชิด LSTM สามารถเกิด overfitting ได้อย่างรวดเร็วบนชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก ขอแนะนำอย่างยิ่งให้ใช้ early stopping โดยอิงตาม F1 หรือ loss บนชุดข้อมูลตรวจสอบ

อะไรคือความแตกต่างระหว่างการปรับแต่ง (fine-tuning) และการฝึก LSTM ด้วยการเรียนรู้แบบถ่ายโอน (transfer learning)?

คำศัพท์เหล่านี้มักทับซ้อนกัน แต่การปรับแต่ง (fine-tuning) หมายถึงการอัปเดตน้ำหนักที่ฝึกฝนล่วงหน้า (แม้ว่าจะเลือกอัปเดตบางส่วน) ในขณะที่การเรียนรู้แบบถ่ายโอน (transfer learning) บางครั้งหมายถึงการล็อกเลเยอร์ที่ฝึกฝนล่วงหน้าทั้งหมดไว้ และฝึกเฉพาะส่วนหัวของงานเท่านั้น การปรับแต่งเต็มรูปแบบพร้อมกับการปลดล็อกแบบค่อยเป็นค่อยไป ให้ผลลัพธ์ที่ดีกว่าวิธีการที่ส่วนลำตัวถูกล็อกไว้เสมอ

เมื่อใดที่ควรเลือกใช้ Transformer ที่ปรับแต่งแล้ว แทนที่จะใช้ Fine-Tuned LSTM?

เลือกใช้ Transformer ที่ปรับแต่งแล้ว (เช่น BERT) เมื่อคุณมีทรัพยากร GPU งานเกี่ยวข้องกับการพึ่งพาระยะยาวหรือความเข้าใจบริบทที่ซับซ้อน และมี checkpoint ที่ฝึกฝนล่วงหน้าขนาดใหญ่สำหรับโดเมนของคุณ เลือก Fine-Tuned LSTM เมื่อฮาร์ดแวร์มีจำกัด ลำดับมีความยาวสั้นถึงปานกลาง หรือความหน่วงในการอนุมานบนอุปกรณ์ Edge เป็นข้อจำกัด

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว