Skip to content
กลับไปยังผลการค้นหา

เครือข่ายประสาทเทียมแบบวนซ้ำที่ปรับละเอียด (Fine-Tuned Recurrent Neural Network)

ผู้เสนอ
Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
ปี
2015–2018
ประเภท
Transfer learning / sequential model adaptation
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

เครือข่ายประสาทเทียมแบบวนซ้ำที่ปรับละเอียด (RNN) เริ่มต้นจากโมเดลที่ได้รับการฝึกฝนล่วงหน้า (pre-trained) บนคลังข้อมูลขนาดใหญ่ (corpora) หรือข้อมูลอนุกรมเวลา (time-series data) และปรับน้ำหนัก (weights) ให้เหมาะสมกับงานเฉพาะ (downstream task) ผ่านการปรับค่าความชัน (gradient updates) ที่ควบคุมได้ วิธีการนี้ช่วยลดปริมาณข้อมูลที่มีป้ายกำกับ (labeled data) ที่จำเป็นสำหรับประสิทธิภาพการสร้างแบบจำลองลำดับ (sequence modeling) ที่แข็งแกร่งในงานจำแนกประเภทข้อความ (text classification), การระบุชื่อเฉพาะ (named entity recognition), การวิเคราะห์ความรู้สึก (sentiment analysis) และงานที่เกี่ยวข้องได้อย่างมาก

แนวคิดเบื้องหลังวิธีการ

การฝึก RNN ตั้งแต่ต้น (from scratch) ต้องการชุดข้อมูลที่มีป้ายกำกับจำนวนมากและระยะเวลานาน การปรับละเอียด (fine-tuning) จะหลีกเลี่ยงปัญหานี้โดยการนำเครือข่ายที่ทราบโครงสร้างของภาษาหรือรูปแบบตามลำดับเวลาอยู่แล้วมาใช้ จากนั้นจึงปรับให้เชี่ยวชาญ ชั้น RNN ก่อนหน้า ซึ่งเข้ารหัสรูปแบบทางไวยากรณ์และเวลาทั่วไป ต้องการเพียงการปรับเพียงเล็กน้อย ในขณะที่ชั้นหลังและส่วนหัวผลลัพธ์เฉพาะงาน (task-specific output head) จะรับข้อมูลใหม่ส่วนใหญ่ การตั้งค่าตารางอัตราการเรียนรู้ (learning-rate scheduling) อย่างระมัดระวังจะป้องกันไม่ให้โมเดลลืมสิ่งที่ทราบอยู่แล้ว

ประวัติศาสตร์

การปรับละเอียด RNN ที่ฝึกฝนล่วงหน้าสำหรับ NLP เกิดขึ้นอย่างค่อยเป็นค่อยไปตั้งแต่ปี 2015 เนื่องจากโมเดลภาษาที่ฝึกฝนบนคลังข้อมูลขนาดใหญ่แสดงให้เห็นถึงการแทนค่าที่สามารถถ่ายโอนได้ การปฏิบัตินี้ได้รับการจัดระบบโดยงานวิจัย ULMFiT ของ Howard และ Ruder (ACL 2018) ซึ่งได้นำเสนอการปลดตรึงทีละน้อยและอัตราการเรียนรู้แบบเลือกปฏิบัติสำหรับโมเดลภาษา LSTM โดยบรรลุผลลัพธ์ที่ทันสมัย (state-of-the-art) บนเกณฑ์มาตรฐานการจำแนกประเภทข้อความหกประเภทด้วยข้อมูลเฉพาะงานน้อยมาก แม้ว่าการปรับละเอียดแบบ Transformer (BERT, 2018) จะครอบงำเกณฑ์มาตรฐาน NLP ในไม่ช้า แต่ RNN ที่ปรับละเอียดก็ยังคงมีความเกี่ยวข้องสำหรับการใช้งานที่มีทรัพยากรจำกัดและการใช้งานอนุกรมเวลา

ควรใช้เมื่อใด

ใช้ RNN ที่ปรับละเอียดเมื่อข้อมูลที่มีป้ายกำกับสำหรับงานของคุณมีจำกัด แต่มี RNN ที่ฝึกฝนล่วงหน้าหรือโมเดลภาษาพร้อมใช้งานสำหรับโดเมนหรือภาษาของคุณ เหมาะสำหรับงานจำแนกประเภทข้อความ, การวิเคราะห์ความรู้สึก, NER และการทำนายลำดับที่โมเดลแบบ Transformer จะมีพารามิเตอร์มากเกินไป (over-parameterised) หรือไม่พร้อมใช้งาน หลีกเลี่ยงการปรับละเอียด RNN ธรรมดาเมื่อการพึ่งพาระยะยาวเป็นสิ่งสำคัญ (LSTM หรือ Transformer จะดีกว่า) หรือเมื่อความหน่วงในการอนุมานแบบเรียลไทม์มีความสำคัญ เนื่องจากแม้แต่ RNN ขนาดเล็กก็อาจใช้เวลาในการคลี่คลาย (unroll) นาน อย่าใช้การปรับละเอียด RNN กับข้อมูลที่เป็นตารางล้วนๆ หรือข้อมูลที่ไม่ใช่ลำดับ

ข้อจำกัดและข้อควรพิจารณา

  • RNN แบบธรรมดาประสบปัญหาการไล่ระดับสีที่หายไป (vanishing gradients) และมีปัญหาในการจัดการกับการพึ่งพาระยะยาว ควรเลือกใช้โมเดล LSTM หรือ GRU เป็นฐาน
  • คุณภาพของการปรับละเอียดถูกจำกัดโดยความเกี่ยวข้องของคลังข้อมูลที่ฝึกฝนล่วงหน้า - โดเมนที่ไม่ตรงกันจะลดผลประโยชน์
  • ความไวต่อไฮเปอร์พารามิเตอร์ (ตารางอัตราการเรียนรู้, การปลดตรึง) ต้องการการปรับแต่งอย่างระมัดระวังหรือการค้นหาด้วยชุดข้อมูลตรวจสอบ
  • ส่วนใหญ่ถูกแทนที่ด้วยโมเดลแบบ Transformer (BERT, RoBERTa) สำหรับเกณฑ์มาตรฐาน NLP ส่วนใหญ่เมื่อมีทรัพยากรในการคำนวณเพียงพอ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดปริมาณข้อมูลที่มีป้ายกำกับที่ต้องการลงอย่างมากเมื่อเทียบกับการฝึกตั้งแต่ต้น
  • น้ำหนักที่ฝึกฝนล่วงหน้าเข้ารหัสการแทนค่าตามลำดับเวลาที่สมบูรณ์ซึ่งสามารถถ่ายโอนไปยังงานและโดเมนที่เกี่ยวข้องได้
  • ใช้ทรัพยากรในการคำนวณน้อยกว่าการปรับละเอียดโมเดล Transformer ขนาดใหญ่ ทำให้สามารถเข้าถึงได้โดยไม่ต้องใช้คลัสเตอร์ GPU
  • การปลดตรึงทีละน้อยและอัตราการเรียนรู้แบบเลือกปฏิบัติช่วยจำกัดการลืมอย่างรุนแรงได้อย่างมีประสิทธิภาพ
  • ยืดหยุ่น: ใช้ได้กับข้อความ, อนุกรมเวลา, เสียง และข้อมูลที่มีโครงสร้างลำดับใดๆ

การประยุกต์ใช้

  • การจำแนกประเภทข้อความ (การวิเคราะห์ความรู้สึก, การจัดหมวดหมู่หัวข้อ) ด้วยตัวอย่างที่มีป้ายกำกับจำกัด
  • การระบุชื่อเฉพาะและการติดป้ายลำดับในโดเมนเฉพาะ เช่น ข้อความทางการแพทย์หรือกฎหมาย
  • การตรวจจับความผิดปกติของอนุกรมเวลาโดยการปรับโมเดลลำดับที่ฝึกฝนล่วงหน้าให้เข้ากับสัญญาณเซ็นเซอร์เฉพาะ
  • การปรับเปลี่ยนโมเดลภาษาสำหรับคลังข้อมูลที่มีทรัพยากรน้อยหรือเฉพาะโดเมน
  • ระบบแนะนำตามลำดับที่ใช้ประโยชน์จากตัวเข้ารหัสลำดับพฤติกรรมผู้ใช้ที่ฝึกฝนล่วงหน้า

วิธีการทำงาน

วิธีการทำงาน

1

โดยพื้นฐานแล้ว RNN (RNN ธรรมดา, LSTM, หรือ GRU) จะได้รับการฝึกฝนล่วงหน้าบนคลังข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ผ่านวัตถุประสงค์การสร้างแบบจำลองภาษา (language-modelling objective) เช่น การทำนายโทเค็นถัดไป (next-token prediction) หรือบนอนุกรมเวลาโดเมนต้นทางขนาดใหญ่ ระยะนี้จะสร้างการแทนค่า (representations) ที่จับโครงสร้างตามลำดับเวลาทั่วไปได้โดยไม่มีป้ายกำกับเฉพาะงานใดๆ

2

เมื่อปรับให้เหมาะกับงานเป้าหมาย (target task) ชั้นต่างๆ จะถูกปลดตรึง (unfrozen) ทีละชั้นจากบนสุด (ใกล้ผลลัพธ์มากที่สุด) ลงมาด้านล่าง การเริ่มต้นด้วยการตรึงชั้น RNN ทั้งหมดจะป้องกันการลืมน้ำหนักที่ฝึกฝนล่วงหน้าอย่างรุนแรง (catastrophic forgetting) การปลดตรึงทีละน้อยช่วยให้แต่ละชั้นปรับตัวได้ก่อนที่จะปลดตรึงชั้นถัดไป

3

อัตราการเรียนรู้ที่แตกต่างกันจะถูกกำหนดให้กับชั้นต่างๆ โดยอัตราที่สูงที่สุดอยู่ใกล้ผลลัพธ์ และอัตราที่ต่ำที่สุดอยู่ใกล้ข้อมูลนำเข้า กลยุทธ์อัตราการเรียนรู้แบบเลือกปฏิบัติ (discriminative learning-rate strategy) นี้ ซึ่งได้รับความนิยมจาก ULMFiT (Howard and Ruder 2018) สะท้อนให้เห็นถึงข้อสังเกตที่ว่าชั้นล่างเข้ารหัสคุณลักษณะทั่วไปที่ควรเปลี่ยนแปลงเพียงเล็กน้อย

4

ส่วนหัวผลลัพธ์เฉพาะงาน (เช่น ตัวจำแนกประเภทเชิงเส้นสำหรับความรู้สึก, CRF สำหรับการติดป้ายลำดับ) จะถูกเพิ่มเข้าไปด้านบนของชั้น RNN สุดท้าย ส่วนหัวนี้จะถูกฝึกฝนร่วมกับชั้น RNN ที่ถูกปลดตรึง ทำให้โมเดลสามารถจับคู่การแทนค่าที่เรียนรู้กับป้ายกำกับโดเมนเป้าหมายได้

5

ประสิทธิภาพของโมเดลจะถูกประเมินบนชุดข้อมูลตรวจสอบ (validation set) ที่แยกไว้ โดยใช้เมตริกที่เหมาะสมกับงาน (ความแม่นยำ, F1, F1 เฉลี่ยแบบมาโครสำหรับคลาสที่ไม่สมดุล, หรือเมตริกในระดับลำดับ) การหยุดก่อนกำหนด (early stopping) โดยอิงจากการสูญเสียบนชุดข้อมูลตรวจสอบจะช่วยป้องกันการเรียนรู้เกิน (overfitting) ชุดข้อมูลปรับละเอียดขนาดเล็ก

ข้อผิดพลาดที่พบบ่อย

  • การใช้อัตราการเรียนรู้สูงเพียงค่าเดียวในทุกชั้น ซึ่งจะเขียนทับน้ำหนักที่ฝึกฝนล่วงหน้าและขจัดประโยชน์จากการถ่ายโอน
  • การข้ามการปลดตรึงทีละน้อยและการปรับละเอียดทุกชั้นพร้อมกัน ซึ่งนำไปสู่การลืมอย่างรุนแรง
  • การประเมินเฉพาะความแม่นยำเมื่อคลาสไม่สมดุล - ควรรายงาน macro F1 และเมตริกต่อคลาสเสมอ
  • การสันนิษฐานว่าโมเดลที่ฝึกฝนล่วงหน้าจากภาษาหรือโดเมนที่แตกต่างกันจะสามารถถ่ายโอนได้ดีโดยไม่ต้องปรับเปลี่ยนโดเมน
  • การละเลยการหยุดก่อนกำหนดและการเรียนรู้เกินชุดข้อมูลปรับละเอียดเมื่อข้อมูลที่มีป้ายกำกับมีขนาดเล็ก

คำถามที่พบบ่อย

ฉันควรใช้ RNN ธรรมดา, LSTM หรือ GRU เป็นฐานหรือไม่?

ควรเลือกใช้ LSTM หรือ GRU เสมอ แทนที่จะเป็น RNN ธรรมดา RNN ธรรมดาประสบปัญหาการไล่ระดับสีที่หายไปเมื่อลำดับยาวกว่าไม่กี่สิบขั้นตอน ทำให้การแทนค่าที่ฝึกฝนล่วงหน้าเปราะบาง LSTM และ GRU ได้รับการออกแบบมาโดยเฉพาะเพื่อรักษาข้อมูลระยะยาวและปรับละเอียดได้อย่างเสถียรมากขึ้น

ควรปรับละเอียดกี่ Epoch?

โดยทั่วไปคือ 3–10 Epoch สำหรับงานเป้าหมาย ขึ้นอยู่กับขนาดชุดข้อมูล ใช้การหยุดก่อนกำหนดโดยอิงจากการสูญเสียบนชุดข้อมูลตรวจสอบ แทนที่จะนับจำนวน Epoch ที่แน่นอน การปรับละเอียดนานเกินไปบนชุดข้อมูลขนาดเล็กจะทำให้เกิดการเรียนรู้เกิน แม้ว่าจะเริ่มต้นด้วยการฝึกฝนล่วงหน้าแล้วก็ตาม

เมื่อใดที่ฉันควรเลือก Transformer ที่ปรับละเอียด แทน RNN ที่ปรับละเอียด?

เมื่อทรัพยากรในการคำนวณไม่ใช่คอขวด และเป้าหมายคือประสิทธิภาพเกณฑ์มาตรฐานที่แข็งแกร่ง Transformer ที่ปรับละเอียด (BERT, RoBERTa) ให้ผลลัพธ์ที่ดีกว่า RNN ที่ปรับละเอียดอย่างสม่ำเสมอในงาน NLP เลือก RNN ที่ปรับละเอียดเมื่อคุณต้องการพื้นที่หน่วยความจำที่เล็กลง, การอนุมานที่เร็วขึ้นบน CPU, หรือทำงานกับข้อมูลอนุกรมเวลายาวที่การใส่ใจแบบควอดราติก (quadratic attention) ของ Transformer ไม่สามารถทำได้จริง

จะเกิดอะไรขึ้นหากไม่มี RNN ที่ฝึกฝนล่วงหน้าสำหรับโดเมนของฉัน?

หากไม่มีโมเดลที่ฝึกฝนล่วงหน้าสำหรับภาษาหรือโดเมนของคุณ ให้พิจารณาฝึก LSTM ขนาดเล็กบนข้อความในโดเมนที่ไม่มีป้ายกำกับที่มีอยู่เป็นขั้นตอนแรก แม้ว่าคลังข้อมูลจะมีขนาดไม่ใหญ่มากก็ตาม หรืออีกทางหนึ่ง ให้ใช้โมเดลที่ฝึกฝนล่วงหน้าแบบหลายภาษาและปรับละเอียดบนข้อมูลภาษาเป้าหมาย

ฉันจะป้องกันการลืมอย่างรุนแรงได้อย่างไร?

ใช้การปลดตรึงทีละน้อย (ปลดตรึงชั้นทีละชั้นจากบนลงล่าง) และใช้อัตราการเรียนรู้ที่ต่ำกว่าสำหรับชั้นก่อนหน้า (อัตราการเรียนรู้แบบเลือกปฏิบัติ) ตารางอัตราการเรียนรู้แบบสามเหลี่ยมที่เอียง (Slanted triangular learning rate schedules) ตามที่เสนอใน ULMFiT ก็ช่วยให้โมเดลเข้าสู่โซลูชันที่ดีได้โดยไม่ลบความรู้ที่ฝึกฝนล่วงหน้า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of ACL 2018, 328–339.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Recurrent neural network. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว