การเรียนรู้แบบถ่ายโอนด้วยโครงข่ายประสาทเทียมแบบเวียนซ้ำ
- ผู้เสนอ
- Pan, S. J. & Yang, Q. (transfer learning survey); RNN origins: Rumelhart, D. E. et al. (1986)
- ปี
- 2010 (TL survey); RNN: 1986
- ประเภท
- Transfer learning on sequence model
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้แบบถ่ายโอนด้วยโครงข่ายประสาทเทียมแบบเวียนซ้ำ (TL-RNN) เป็นการนำน้ำหนักที่ได้จากการฝึกโครงข่ายประสาทเทียมแบบเวียนซ้ำ (RNN) บนงานต้นทางขนาดใหญ่ เช่น การสร้างแบบจำลองภาษา หรือการทำนายลำดับ มาปรับใช้กับงานเป้าหมายใหม่ ซึ่งมักจะมีขนาดเล็กกว่า กลยุทธ์นี้ช่วยให้นักปฏิบัติสามารถบรรลุประสิทธิภาพการสร้างแบบจำลองลำดับที่แข็งแกร่งได้โดยไม่จำเป็นต้องใช้ชุดข้อมูลติดป้ายกำกับจำนวนมหาศาล
แนวคิดเบื้องหลังวิธีการ
การฝึก RNN ตั้งแต่ต้นบนชุดข้อมูลเป้าหมายขนาดเล็กมักจะนำไปสู่การสรุปผลที่แย่ เนื่องจากโครงข่ายแบบเวียนซ้ำมีพารามิเตอร์จำนวนมากและต้องการข้อมูลจำนวนมากเพื่อการลู่เข้าอย่างน่าเชื่อถือ การเรียนรู้แบบถ่ายโอนช่วยแก้ปัญหานี้ได้ โดย RNN จะเรียนรู้รูปแบบลำดับทั่วไปจากข้อมูลต้นทางที่อุดมสมบูรณ์ก่อน ซึ่งจะเข้ารหัสสิ่งต่างๆ เช่น ความสัมพันธ์ของคำ หรือจังหวะเวลา ไว้ในน้ำหนักของมัน จากนั้นน้ำหนักเหล่านั้นจะถูกใช้เป็นจุดเริ่มต้นที่อบอุ่นสำหรับงานเป้าหมาย ทำให้โมเดลต้องการเพียงปรับแต่งพารามิเตอร์ส่วนเล็กๆ บนข้อมูลเป้าหมายที่จำกัดเท่านั้น ผลลัพธ์คือการลู่เข้าที่เร็วขึ้นและความแม่นยำที่ดีขึ้นกว่าการเริ่มต้นแบบสุ่มเพียงอย่างเดียว
ประวัติศาสตร์
รากฐานทางทฤษฎีสำหรับการเรียนรู้แบบถ่ายโอนได้รับการกำหนดรูปแบบโดย Pan และ Yang ในบทสำรวจ IEEE TKDE ปี 2010 ของพวกเขา ซึ่งยังคงเป็นการอ้างอิงตามแบบแผน การประยุกต์ใช้การเรียนรู้แบบถ่ายโอนกับสถาปัตยกรรมแบบเวียนซ้ำได้รับความนิยมในทางปฏิบัติในช่วงปี 2015–2018 เนื่องจาก LSTM และ GRU กลายเป็นที่โดดเด่นใน NLP งานต่างๆ เช่น ELMo (Peters et al., 2018) แสดงให้เห็นว่า LSTM แบบสองทิศทางที่ฝึกไว้ล่วงหน้าสามารถถ่ายโอนการแทนค่าภาษาตามบริบทไปยังงานปลายน้ำที่หลากหลาย ก่อนที่โมเดลที่ใช้ทรานส์ฟอร์มเมอร์จะเข้ามามีบทบาทหลักหลังจากปี 2019
ควรใช้เมื่อใด
ใช้ TL-RNN เมื่อคุณมีงานเป้าหมายที่เป็นลำดับหรืออิงตามข้อความ โดยมีข้อมูลติดป้ายกำกับจำกัด แต่สามารถระบุงานต้นทางที่เกี่ยวข้องหรือโมเดลแบบเวียนซ้ำที่ฝึกไว้ล่วงหน้าได้ เหมาะสำหรับงาน NLP (การวิเคราะห์ความรู้สึก, การจำแนกข้อความ, การรู้จำเอนทิตีที่มีชื่อ) และปัญหาลำดับเวลา (การตรวจจับความผิดปกติ, การพยากรณ์ความต้องการ) ที่มีข้อมูลที่เกี่ยวข้องกับโดเมนมากมาย แต่ป้ายกำกับเป้าหมายมีน้อย อย่าใช้เมื่อโดเมนต้นทางและเป้าหมายมีความแตกต่างกันมาก — การถ่ายโอนเชิงลบอาจส่งผลเสียต่อประสิทธิภาพ สำหรับข้อมูลแบบตารางที่ไม่ใช่ลำดับล้วนๆ โมเดลที่ใช้ต้นไม้หรือการใส่ใจมักจะมีประสิทธิภาพเหนือกว่า TL-RNN เมื่อมีโมเดลทรานส์ฟอร์มเมอร์ที่ฝึกไว้ล่วงหน้า (BERT, GPT) สำหรับโดเมนของคุณ โมเดลเหล่านั้นมักจะเข้ามาแทนที่ TL-RNN ในงาน NLP
ข้อจำกัดและข้อควรพิจารณา
- อ่อนไหวต่อการถ่ายโอนเชิงลบ เมื่อโดเมนหรืองานต้นทางและเป้าหมายมีความแตกต่างกันทางความหมาย
- การถ่ายโอนแบบ RNN ส่วนใหญ่ถูกแทนที่ใน NLP ด้วยโมเดลที่ใช้ทรานส์ฟอร์มเมอร์ (BERT, GPT) ซึ่งให้การแทนค่าบริบทที่สมบูรณ์กว่า
- การเลือกไฮเปอร์พารามิเตอร์ — อัตราการเรียนรู้, ความลึกของชั้นที่ตรึงไว้, จำนวนรอบการปรับแต่ง — ส่งผลกระทบต่อผลลัพธ์อย่างมากและต้องการการปรับแต่งอย่างระมัดระวัง
- สถาปัตยกรรมแบบเวียนซ้ำมีลักษณะเป็นลำดับโดยธรรมชาติและฝึกได้ช้ากว่าทรานส์ฟอร์มเมอร์ที่สามารถประมวลผลแบบขนานได้
- น้ำหนัก RNN ที่ฝึกไว้ล่วงหน้าอาจไม่มีให้ใช้งานแบบสาธารณะสำหรับทุกโดเมน ซึ่งต้องใช้การฝึกงานต้นทางที่มีค่าใช้จ่ายสูง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- บรรลุประสิทธิภาพที่แข็งแกร่งบนชุดข้อมูลเป้าหมายขนาดเล็ก โดยใช้ประโยชน์จากการแทนค่าที่เรียนรู้จากข้อมูลต้นทางขนาดใหญ่
- ลดเวลาการฝึกและต้นทุนการคำนวณ เมื่อเทียบกับการฝึก RNN ตั้งแต่ต้น
- ยืดหยุ่น: ทำงานได้กับสถาปัตยกรรม Vanilla RNN, LSTM และ GRU และสามารถนำไปใช้ได้ทั้งในโดเมน NLP และอนุกรมเวลา
- อนุญาตให้ตรึงชั้นแบบเลือกได้ เพื่อควบคุมระดับการปรับเปลี่ยนและป้องกันการเรียนรู้เกิน
- ให้การเริ่มต้นที่อบอุ่นอย่างมีหลักการ ซึ่งช่วยให้การไหลของเกรเดียนต์มีความเสถียรระหว่างการปรับแต่ง
การประยุกต์ใช้
- การจำแนกข้อความ (การวิเคราะห์ความรู้สึก, การติดป้ายหัวข้อ) ด้วยคลังข้อมูลที่มีคำอธิบายประกอบจำกัด
- การรู้จำเอนทิตีที่มีชื่อ ซึ่งปรับมาจากโมเดล NER ทั่วไปไปยังโดเมนเฉพาะทาง
- การตรวจจับความผิดปกติของอนุกรมเวลา โดยโมเดลที่ฝึกไว้ล่วงหน้าบนข้อมูลการทำงานปกติจะถูกปรับแต่งบนป้ายกำกับข้อผิดพลาดที่หายาก
- การพยากรณ์ความต้องการหรือยอดขายในหมวดหมู่ผลิตภัณฑ์ใหม่ โดยใช้โมเดลที่ฝึกไว้ล่วงหน้าจากข้อมูลประวัติของหมวดหมู่ที่เกี่ยวข้อง
- การทำนายเหตุการณ์ทางคลินิก โดยปรับ RNN ที่ฝึกไว้ล่วงหน้าบนลำดับเวชระเบียนอิเล็กทรอนิกส์ขนาดใหญ่ให้เข้ากับกลุ่มผู้ป่วยที่เล็กลง
- การติดป้ายลำดับข้ามภาษา โดยถ่ายโอนการแทนค่าแบบเวียนซ้ำระหว่างภาษาที่เกี่ยวข้อง
วิธีการทำงาน
วิธีการทำงาน
RNN (Vanilla RNN, LSTM, หรือ GRU) จะถูกฝึกบนคลังข้อมูลหรือชุดงานต้นทางขนาดใหญ่ เช่น การสร้างแบบจำลองภาษาในระดับอักขระหรือคำ ชั้นแบบเวียนซ้ำจะเรียนรู้ที่จะเข้ารหัสความสัมพันธ์เชิงเวลาและการแทนค่าบริบทที่สามารถสรุปผลได้สำหรับปัญหาลำดับต่างๆ
เมื่อย้ายไปยังงานเป้าหมาย ผู้ปฏิบัติงานจะตัดสินใจว่าจะตรึงชั้นใด (คงน้ำหนักต้นทางไว้) และชั้นใดที่อนุญาตให้ปรับปรุงได้ ชั้นแบบเวียนซ้ำช่วงต้นจะจับคุณลักษณะลำดับทั่วไปและมักจะถูกตรึงไว้ ส่วนชั้นหลังหรือชั้นที่เฉพาะเจาะจงกับงานจะถูกปล่อยให้ฝึกได้ การตัดสินใจนี้เป็นการแลกเปลี่ยนระหว่างการป้องกันการเรียนรู้เกินบนข้อมูลเป้าหมายขนาดเล็ก และการอนุญาตให้ปรับเปลี่ยนตามงานเฉพาะ
RNN ที่ได้รับการฝึกไว้ล่วงหน้าจะเชื่อมต่อกับส่วนหัวเอาต์พุตใหม่ที่เหมาะสมกับงานเป้าหมาย (เช่น ตัวจำแนกประเภท softmax สำหรับการวิเคราะห์ความรู้สึก หรือส่วนหัวการถดถอยสำหรับการพยากรณ์ความต้องการ) การฝึกจะดำเนินการบนชุดข้อมูลเป้าหมาย โดยทั่วไปจะใช้อัตราการเรียนรู้ที่ต่ำเพื่อหลีกเลี่ยงการเขียนทับการแทนค่าทั่วไปที่เรียนรู้ระหว่างการฝึกเบื้องต้น
ประสิทธิภาพจะถูกประเมินบนชุดข้อมูลทดสอบที่แยกไว้ โดยใช้เมตริกที่เหมาะสมกับงาน (ความแม่นยำ, F1, RMSE ฯลฯ) กำไรจากการถ่ายโอนจะถูกวัดปริมาณโดยการเปรียบเทียบ TL-RNN กับ RNN ที่เริ่มต้นแบบสุ่มซึ่งฝึกบนข้อมูลเป้าหมายเดียวกันภายใต้เงื่อนไขเดียวกัน
ข้อผิดพลาดที่พบบ่อย
- การใช้โมเดลที่ฝึกไว้ล่วงหน้าจากโดเมนที่ไม่เกี่ยวข้องกับงานเป้าหมายโดยไม่ได้ตรวจสอบความคล้ายคลึงของโดเมน ซึ่งเสี่ยงต่อการถ่ายโอนเชิงลบ
- การปรับแต่งด้วยอัตราการเรียนรู้ที่สูงเกินไป ซึ่งจะเขียนทับการแทนค่าที่ฝึกไว้ล่วงหน้าและทำให้ประโยชน์ของการถ่ายโอนเป็นโมฆะ
- การลืมเปรียบเทียบ TL-RNN กับฐานข้อมูลที่เริ่มต้นแบบสุ่ม — หากไม่มีการเปรียบเทียบนี้ กำไรจากการถ่ายโอนจะไม่สามารถวัดปริมาณได้
- การปฏิบัติต่อขอบเขตชั้นที่ตรึง/ฝึกได้ว่าเป็นค่าเริ่มต้นที่ไม่สำคัญ แทนที่จะเป็นการตัดสินใจออกแบบที่รอบคอบซึ่งได้รับการตรวจสอบบนชุดข้อมูลตรวจสอบ
- การละเลยการรั่วไหลของข้อมูลระหว่างการแบ่งข้อมูลต้นทางและเป้าหมาย ซึ่งทำให้ประสิทธิภาพการถ่ายโอนที่ปรากฏสูงเกินจริง
คำถามที่พบบ่อย
ฉันจะเลือกชั้น RNN ที่จะตรึงได้อย่างไร?
หลักการทั่วไปคือการตรึงชั้นแบบเวียนซ้ำส่วนล่าง (ซึ่งจับรูปแบบลำดับทั่วไป) และปล่อยให้ชั้นบนและส่วนหัวเอาต์พุตสามารถฝึกได้ ตรวจสอบการเลือกนี้บนชุดข้อมูลตรวจสอบที่แยกไว้ — หากประสิทธิภาพคงที่ ให้ลองปลดตรึงชั้นเพิ่มเติมทีละชั้น
TL-RNN ยังคงมีความหมายเมื่อมีโมเดล BERT หรือ GPT อยู่หรือไม่?
สำหรับงาน NLP มาตรฐาน โมเดลที่ใช้ทรานส์ฟอร์มเมอร์มักจะมีประสิทธิภาพเหนือกว่า TL-RNN และโดยทั่วไปจะได้รับความนิยมมากกว่า TL-RNN ยังคงมีความเกี่ยวข้องสำหรับการใช้งานที่มีข้อจำกัดด้านทรัพยากร สำหรับข้อมูลลำดับที่ไม่ใช่ NLP (อนุกรมเวลา, ลำดับชีวภาพ) หรือเมื่อมี RNN ที่ฝึกไว้ล่วงหน้าเฉพาะโดเมน แต่ไม่มีโมเดลทรานส์ฟอร์มเมอร์ที่เทียบเคียงได้
ฉันควรใช้อัตราการเรียนรู้เท่าใดสำหรับการปรับแต่ง?
เริ่มต้นด้วยอัตราการเรียนรู้ที่ต่ำกว่าอัตราที่คุณจะใช้สำหรับการฝึกตั้งแต่ต้นหนึ่งถึงสองอันดับ (เช่น 1e-4 แทนที่จะเป็น 1e-2) การใช้นักวางแผนอัตราการเรียนรู้ที่ค่อยๆ ปลดตรึงชั้น (การปรับแต่งแบบเลือกปฏิบัติ) สามารถช่วยให้การฝึกมีความเสถียรมากขึ้น
ฉันจะตรวจจับการถ่ายโอนเชิงลบได้อย่างไร?
ฝึก RNN ที่เริ่มต้นแบบสุ่มบนข้อมูลเป้าหมายเดียวกันเป็นฐานข้อมูล หาก TL-RNN ไม่ดีขึ้นกว่าฐานข้อมูลนี้ — โดยเฉพาะอย่างยิ่งบนชุดข้อมูลทดสอบที่แยกไว้ — การถ่ายโอนเชิงลบมีแนวโน้มสูง ให้ตรวจสอบความเกี่ยวข้องของงานต้นทางและเป้าหมายของคุณอีกครั้ง
TL-RNN เหมาะสมกับอนุกรมเวลาที่สั้นมากหรือไม่?
ลำดับสั้นๆ ให้สัญญาณน้อยเกินไปสำหรับชั้นแบบเวียนซ้ำที่จะใช้ประโยชน์ ดังนั้นกำไรจากการถ่ายโอนอาจมีน้อย ในช่วงเวลานั้น การสร้างคุณลักษณะร่วมกับโมเดลที่ง่ายกว่า (เช่น Gradient Boosting) มักจะมีประสิทธิภาพเหนือกว่า TL-RNN
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วTransfer learning. Wikipedia.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว