Skip to content
กลับไปยังผลการค้นหา

การเรียนรู้แบบถ่ายโอนด้วย LSTM

ผู้เสนอ
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
ปี
2018 (ULMFiT; concept since ~2010)
ประเภท
Transfer learning / Sequential model
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเรียนรู้แบบถ่ายโอนด้วย LSTM เป็นเทคนิคที่เครือข่ายหน่วยความจำระยะสั้นแบบยาว (Long Short-Term Memory network) จะได้รับการฝึกฝนล่วงหน้า (pre-trained) บนคลังข้อมูลต้นทาง (source corpus) หรือชุดงานขนาดใหญ่ก่อน จากนั้นน้ำหนักที่เรียนรู้ได้จะถูกถ่ายโอนและปรับแต่งอย่างละเอียด (fine-tuned) บนชุดงานเป้าหมาย (target task) ที่มีขนาดเล็ก วิธีการนี้ซึ่งได้รับความนิยมจาก ULMFiT (Howard & Ruder, 2018) ช่วยให้โมเดลที่ใช้ LSTM สามารถบรรลุประสิทธิภาพที่แข็งแกร่งได้ แม้ว่าข้อมูลเป้าหมายที่มีป้ายกำกับ (labeled data) จะมีจำกัดก็ตาม

แนวคิดเบื้องหลังวิธีการ

การฝึก LSTM ตั้งแต่ต้นบนชุดข้อมูลขนาดเล็กมีความเสี่ยง: โมเดลแทบจะไม่สามารถเรียนรู้รูปแบบภาษาหรือลำดับทั่วไปได้ และเกิดการปรับให้เหมาะสมเกิน (overfitting) ได้ง่าย การเรียนรู้แบบถ่ายโอนจะหลีกเลี่ยงปัญหานี้ได้โดยการฝึก LSTM บนข้อมูลจำนวนมากก่อน ซึ่งมักจะเป็นวัตถุประสงค์ของการสร้างแบบจำลองภาษา (language modeling) บนคลังข้อความขนาดใหญ่ เพื่อให้น้ำหนักที่ซ่อนอยู่ (hidden states) เข้ารหัสการแสดงผลที่หลากหลายของไวยากรณ์ บริบท และความหมาย เมื่อคุณปรับแต่งน้ำหนักเหล่านั้นสำหรับงานเฉพาะของคุณ โมเดลจะปรับตัวได้อย่างรวดเร็ว เนื่องจากเริ่มต้นจากตำแหน่งที่ดีกว่าการกำหนดค่าเริ่มต้นแบบสุ่มมาก เหมือนกับผู้เชี่ยวชาญที่ต้องการเพียงการปฐมนิเทศสั้นๆ แทนที่จะเป็นการฝึกอบรมเต็มรูปแบบ

ประวัติศาสตร์

แนวคิดทั่วไปของการเรียนรู้แบบถ่ายโอนสำหรับเครือข่ายประสาทได้รับการกำหนดรูปแบบโดย Pan & Yang (2010) การประยุกต์ใช้ในทางปฏิบัติกับเครือข่ายเวียนซ้ำ (recurrent networks) ได้รับความสนใจอย่างกว้างขวางด้วย ULMFiT (Howard & Ruder, 2018) ซึ่งแสดงให้เห็นว่าระบอบการฝึก LSTM สามขั้นตอน ได้แก่ การสร้างแบบจำลองภาษาทั่วไป การสร้างแบบจำลองภาษาในโดเมนเป้าหมาย และการปรับแต่งตัวจำแนกประเภท สามารถเทียบเท่าหรือดีกว่าโมเดลแบบมีผู้สอน (supervised models) ที่ใหญ่กว่ามากในเกณฑ์มาตรฐานการจำแนกข้อความ ความสำเร็จของ ULMFiT เกิดขึ้นก่อนและมีอิทธิพลโดยตรงต่อกระบวนทัศน์การฝึกฝนล่วงหน้ายุค Transformer (BERT, GPT) และยังคงเป็นข้อมูลอ้างอิงตามแบบฉบับ (canonical reference) สำหรับการเรียนรู้แบบถ่ายโอนลำดับ

ควรใช้เมื่อใด

ใช้การเรียนรู้แบบถ่ายโอนด้วย LSTM เมื่อคุณมีงานสร้างแบบจำลองลำดับ (sequential modeling task) เช่น การจำแนกข้อความ การวิเคราะห์ความรู้สึก การระบุชื่อเฉพาะ การพยากรณ์อนุกรมเวลา แต่มีชุดข้อมูลที่มีป้ายกำกับขนาดเล็กเท่านั้น มีประสิทธิภาพอย่างยิ่งสำหรับงาน NLP ที่มีแบบจำลองภาษาที่ฝึกฝนล่วงหน้าสำหรับภาษาต้นทางหรือเป้าหมาย และเมื่อการปรับโดเมน (ข้อความที่ไม่มีป้ายกำกับในโดเมนเป้าหมาย) สามารถทำได้ หลีกเลี่ยงเมื่อโดเมนลำดับของคุณแตกต่างจากคลังข้อมูลที่ฝึกฝนล่วงหน้าอย่างมากจนอาจเกิดการถ่ายโอนเชิงลบ (negative transfer) เมื่อต้องการการตีความสถานะเวียนซ้ำ (recurrent states) แต่ละรายการ (ควรเลือกโมเดลที่ง่ายกว่า) หรือเมื่อมีทางเลือกที่ใช้ Transformer เช่น การปรับแต่ง BERT (fine-tuning BERT) และชุดข้อมูลเป็นข้อความ (โดยทั่วไป Transformer มีประสิทธิภาพเหนือกว่า LSTM ในงาน NLP ตั้งแต่ปี 2019)

ข้อจำกัดและข้อควรพิจารณา

  • วิธีการถ่ายโอนแบบ Transformer (BERT, RoBERTa) ได้เข้ามาแทนที่ LSTM สำหรับงาน NLP เป็นส่วนใหญ่ ซึ่งมักให้ความแม่นยำสูงกว่า
  • การฝึก LSTM เป็นแบบลำดับและไม่สามารถขนานได้ง่าย ทำให้การฝึกฝนล่วงหน้าบนคลังข้อมูลขนาดใหญ่มากใช้เวลานาน
  • อาจเกิดการถ่ายโอนเชิงลบหากโดเมนต้นทางและเป้าหมายไม่ตรงกัน ทำให้ประสิทธิภาพลดลงต่ำกว่าเกณฑ์พื้นฐานที่ฝึกตั้งแต่ต้น
  • ต้องใช้จุดตรวจสอบ LSTM ที่ฝึกฝนล่วงหน้า (pre-trained LSTM checkpoint) ที่เหมาะสม สำหรับภาษาที่หายากหรือโดเมนเฉพาะทางสูง อาจไม่มีอยู่
  • ความเสถียรของการปรับแต่งอย่างละเอียดอาจไวต่ออัตราการเรียนรู้และตารางการตรึง ทำให้ต้องค้นหาไฮเปอร์พารามิเตอร์อย่างระมัดระวัง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดความต้องการข้อมูลที่มีป้ายกำกับลงอย่างมากเมื่อเทียบกับการฝึกตั้งแต่ต้น
  • จับความสัมพันธ์ลำดับระยะยาวที่แบบจำลอง bag-of-words และแบบจำลองตื้น (shallow models) พลาดไป
  • น้ำหนักที่ฝึกฝนล่วงหน้าให้ค่าเริ่มต้นที่แข็งแกร่ง นำไปสู่การลู่เข้าที่เร็วขึ้นและการสรุปผลที่ดีขึ้น
  • สามารถนำไปใช้ได้กับทั้งข้อมูลลำดับที่ไม่ใช่ภาษา (non-linguistic sequence data) เช่น อนุกรมเวลา เสียง และจีโนมิกส์ และข้อมูลภาษา
  • การปลดตรึงแบบค่อยเป็นค่อยไปและอัตราการเรียนรู้แบบเลือกปฏิบัติ (ULMFiT) ให้การควบคุมการปรับแต่งอย่างละเอียดตามหลักการ
  • การแสดงผลระหว่างกลางที่สามารถตีความได้เมื่อเทียบกับสถาปัตยกรรม Transformer จำนวนมาก

การประยุกต์ใช้

  • การจำแนกข้อความ (การวิเคราะห์ความรู้สึก การจัดหมวดหมู่หัวข้อ การจัดหมวดหมู่ข่าว)
  • การระบุชื่อเฉพาะ (Named entity recognition) และการติดป้ายกำกับลำดับ (sequence labeling) ด้วยคลังข้อมูลที่มีคำอธิบายประกอบจำกัด
  • การตรวจจับความผิดปกติและการพยากรณ์อนุกรมเวลา เมื่อมีน้ำหนักที่ฝึกฝนล่วงหน้าจากอนุกรมที่คล้ายกัน
  • NLP ทรัพยากรต่ำ (Low-resource NLP) สำหรับภาษาที่มีข้อมูลที่มีคำอธิบายประกอบจำกัด แต่มีคลังข้อมูลที่ไม่มีป้ายกำกับ
  • การจำแนกบันทึกทางการแพทย์และการวิเคราะห์ลำดับชีวการแพทย์ด้วยจุดตรวจสอบ LSTM ที่ปรับโดเมนแล้ว
  • การสร้างแบบจำลองลำดับเสียงและคำพูด เมื่อมีการฝึกฝนล่วงหน้าด้านเสียง

วิธีการทำงาน

วิธีการทำงาน

1

LSTM จะถูกฝึกบนชุดข้อมูลต้นทางขนาดใหญ่โดยใช้วัตถุประสงค์ทั่วไป ซึ่งส่วนใหญ่มักจะเป็นการสร้างแบบจำลองภาษา (การทำนายโทเค็นถัดไป) ขั้นตอนนี้จะสอนเครือข่ายให้มีการแสดงผลลำดับทั่วไป ซึ่งรวมถึงโครงสร้างทางวากยสัมพันธ์ การปรากฏร่วมกันบ่อยครั้ง และความสัมพันธ์ระยะยาว โดยไม่มีการกำกับดูแลเฉพาะสำหรับงานนั้นๆ น้ำหนักที่ได้จะใช้เป็นค่าเริ่มต้นสำหรับงานปลายน้ำ (downstream tasks)

2

ก่อนที่จะปรับแต่งอย่างละเอียดสำหรับชุดงานเป้าหมายที่มีป้ายกำกับ LSTM ที่ได้รับการฝึกฝนล่วงหน้าจะถูกปรับให้เข้ากับโดเมนเป้าหมายโดยการฝึกแบบจำลองภาษาต่อไปบนข้อความที่ไม่มีป้ายกำกับในโดเมนเป้าหมาย ขั้นตอนการปรับโดเมนนี้ ซึ่งใช้เป็นหลักใน ULMFiT จะจำกัดคำศัพท์และช่องว่างของรูปแบบระหว่างคลังข้อมูลต้นทางและเป้าหมาย ซึ่งมักจะให้ผลกำไรด้านความแม่นยำที่มีความหมายในต้นทุนที่ต่ำ

3

เพื่อหลีกเลี่ยงการทำลายการแสดงผลที่ฝึกฝนล่วงหน้า โดยทั่วไปแล้วเลเยอร์จะถูกตรึง (frozen) ไว้ในตอนแรก และจะค่อยๆ ปลดตรึง (unfrozen) จากบนลงล่าง (เฉพาะสำหรับงาน ไปสู่ทั่วไป) ULMFiT ได้นำเสนอการปลดตรึงแบบค่อยเป็นค่อยไป (gradual unfreezing) และการปรับแต่งอย่างละเอียดแบบเลือกปฏิบัติ (discriminative fine-tuning) ซึ่งเลเยอร์ล่างๆ จะได้รับอัตราการเรียนรู้ที่ต่ำกว่าเลเยอร์บนๆ เพื่อปกป้องคุณสมบัติทั่วไปในขณะที่อนุญาตให้มีการปรับให้เข้ากับงานเฉพาะ

4

ส่วนหัวเฉพาะสำหรับงาน (task-specific head) เช่น ตัวจำแนกประเภท softmax สำหรับการจำแนกข้อความ หรือชั้นการถดถอย (regression layer) สำหรับการทำนายลำดับต่อค่า จะถูกเพิ่มเข้าไปด้านบนของ LSTM จากนั้นทั้งเครือข่าย หรือส่วนที่ถูกปลดตรึง จะถูกฝึกแบบ end-to-end บนข้อมูลเป้าหมายที่มีป้ายกำกับ โดยใช้อัตราการเรียนรู้ที่ต่ำและมักจะใช้การจัดตารางอัตราการเรียนรู้แบบสามเหลี่ยมเฉียง (slanted triangular learning rate scheduling) เพื่อให้การลู่เข้า (convergence) มีเสถียรภาพ

5

ประสิทธิภาพจะถูกประเมินบนชุดทดสอบที่แยกไว้ (held-out test set) โดยใช้เมตริกที่เหมาะสมกับงาน (ความแม่นยำ, F1, AUC สำหรับการจำแนกประเภท; RMSE หรือ MAE สำหรับการถดถอย) เนื่องจากข้อมูลที่มีป้ายกำกับมีจำกัดในสถานการณ์การถ่ายโอนทั่วไป จึงขอแนะนำอย่างยิ่งให้ใช้การตรวจสอบไขว้แบบ k-fold ที่แบ่งชั้น (stratified k-fold cross-validation) การเปรียบเทียบกับ LSTM พื้นฐานที่ฝึกตั้งแต่ต้นจะช่วยวัดผลกำไรจากการถ่ายโอนได้

ข้อผิดพลาดที่พบบ่อย

  • การใช้อัตราการเรียนรู้สูงเดียวกันสำหรับทุกเลเยอร์ระหว่างการปรับแต่งอย่างละเอียด ซึ่งทำให้ลืมการแสดงผลที่ฝึกฝนล่วงหน้าไปอย่างสิ้นเชิง (catastrophically forgets)
  • การข้ามการปรับโดเมนเมื่อโดเมนเป้าหมายแตกต่างจากคลังข้อมูลที่ฝึกฝนล่วงหน้าอย่างเห็นได้ชัด
  • การประเมินเฉพาะบนส่วนแบ่งการฝึก (training split) และรายงานความแม่นยำภายในตัวอย่าง (in-sample accuracy) เป็นผลลัพธ์สุดท้าย
  • การละเลยความไม่สมดุลของคลาส (class imbalance) ในงานเป้าหมายโดยไม่มีการถ่วงน้ำหนักใหม่หรือการสุ่มตัวอย่างเกิน (oversampling)
  • การเลือกการถ่ายโอน LSTM เมื่อมี Transformer ที่ฝึกฝนล่วงหน้าสำหรับภาษาหรือโดเมนเดียวกัน ซึ่งมีต้นทุนค่าเสียโอกาสที่สำคัญ

คำถามที่พบบ่อย

เมื่อใดที่ฉันควรเลือกการเรียนรู้แบบถ่ายโอนด้วย LSTM แทนการปรับแต่ง BERT

ควรเลือกการเรียนรู้แบบถ่ายโอนด้วย LSTM สำหรับข้อมูลลำดับที่ไม่ใช่ข้อความ (อนุกรมเวลา เสียง จีโนมิกส์) หรือเมื่อทรัพยากรคอมพิวเตอร์มีจำกัดอย่างมาก เนื่องจาก LSTM มีน้ำหนักเบากว่า Transformer ขนาดใหญ่ สำหรับงาน NLP มาตรฐานกับข้อความภาษาอังกฤษ โมเดลตระกูล BERT เกือบจะให้ประสิทธิภาพเหนือกว่า LSTM เสมอ และควรเป็นตัวเลือกเริ่มต้น

ฉันควรตรึงเลเยอร์กี่ชั้นในช่วงเริ่มต้นของการปรับแต่งอย่างละเอียด

กลยุทธ์ทั่วไป (จาก ULMFiT) คือการตรึงทุกเลเยอร์ยกเว้นส่วนหัวของตัวจำแนกประเภท (classifier head) ในตอนแรก จากนั้นค่อยๆ ปลดตรึงทีละเลเยอร์จากบนลงล่างตลอดช่วงยุค (epochs) วิธีนี้จะช่วยปกป้องการแสดงผลระดับล่างที่มีวัตถุประสงค์ทั่วไป ในขณะที่ปรับคุณสมบัติระดับสูงให้เข้ากับงานเป้าหมาย

จะเกิดอะไรขึ้นหากไม่มี LSTM ที่ฝึกฝนล่วงหน้าสำหรับโดเมนหรือภาษาของฉัน

คุณสามารถฝึกโมเดลภาษา LSTM ของคุณเองล่วงหน้าบนคลังข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ในโดเมนหรือภาษาของคุณได้ แม้แต่คลังข้อมูลโดเมนที่มีขนาดค่อนข้างเล็ก (ไม่กี่ล้านโทเค็น) ก็ให้ค่าเริ่มต้นที่ดีกว่าน้ำหนักแบบสุ่ม โดยเฉพาะอย่างยิ่งสำหรับคำศัพท์เฉพาะทาง

ฉันสามารถนำไปใช้กับอนุกรมเวลาได้หรือไม่ ไม่ใช่แค่ข้อความ

ใช่ การเรียนรู้แบบถ่ายโอนด้วย LSTM เป็นที่ยอมรับกันดีสำหรับอนุกรมเวลา: เครือข่ายที่ฝึกฝนล่วงหน้าบนชุดลำดับที่เกี่ยวข้องจำนวนมาก (เช่น การบริโภคไฟฟ้า หรือสัญญาณ ECG) สามารถปรับแต่งอย่างละเอียดบนอนุกรมเป้าหมายที่เล็กกว่า ซึ่งมักจะให้ประสิทธิภาพเหนือกว่า LSTM พื้นฐานที่ฝึกตั้งแต่ต้น โดยใช้ข้อมูลเป้าหมายน้อยกว่ามาก

ฉันจะรู้ได้อย่างไรว่ากำลังเกิดการถ่ายโอนเชิงลบ

เปรียบเทียบประสิทธิภาพของโมเดลที่ปรับแต่งอย่างละเอียดกับ LSTM ที่ฝึกตั้งแต่ต้นโดยใช้เฉพาะข้อมูลเป้าหมาย หากโมเดลที่ถ่ายโอนมีประสิทธิภาพแย่ลง แสดงว่าน่าจะเกิดการถ่ายโอนเชิงลบ วิธีแก้ไข ได้แก่ การจำกัดการปรับแต่งอย่างละเอียดเฉพาะเลเยอร์บน การใช้อัตราการเรียนรู้ที่ต่ำลง หรือการเลือกคลังข้อมูลที่ฝึกฝนล่วงหน้าซึ่งตรงกับโดเมนเป้าหมายมากกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Transfer learning. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว