หน่วยความจำแบบวนซ้ำแบบมีประตู (Gated Recurrent Unit - GRU)
- ผู้เสนอ
- Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
- ปี
- 2014
- ประเภท
- Recurrent neural network with gating
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Gated Recurrent Unit (GRU) ซึ่งนำเสนอโดย Cho และคณะในปี 2014 เป็นโครงข่ายประสาทเทียมแบบวนซ้ำที่ได้รับการปรับปรุงให้เรียบง่ายขึ้น โดยใช้ประตูที่เรียนรู้สองบาน ได้แก่ ประตูอัปเดต (update gate) และประตูรีเซ็ต (reset gate) เพื่อเลือกเก็บหรือละทิ้งข้อมูลข้ามช่วงเวลา (time steps) ทำให้สามารถสร้างแบบจำลองลำดับ (sequence modelling) ได้อย่างมีประสิทธิภาพโดยใช้พารามิเตอร์น้อยกว่า LSTM
แนวคิดเบื้องหลังวิธีการ
การประมวลผลลำดับก็เหมือนกับการอ่านเอกสารยาวๆ พร้อมกับการตัดสินใจว่าจะจดจำอะไรและจะลืมอะไร ประตูอัปเดตของ GRU จะควบคุมว่าข้อมูลจากสถานะซ่อนเร้นก่อนหน้า (previous hidden state) จะถูกส่งต่อไปมากน้อยเพียงใด หรือจะถูกแทนที่ด้วยข้อมูลใหม่ ในขณะที่ประตูรีเซ็ตจะตัดสินใจว่าบริบทในอดีตจะส่งผลต่อสถานะซ่อนเร้นผู้สมัครใหม่ (candidate hidden state) มากน้อยเพียงใด กลไกการใช้ประตูนี้ช่วยให้โครงข่ายสามารถจับความสัมพันธ์ระยะยาวได้โดยไม่มีปัญหาการไล่ระดับสีที่หายไป (vanishing-gradient problems) ซึ่งเป็นปัญหาของ RNN แบบธรรมดา และทำได้ด้วยสถาปัตยกรรมที่เรียบง่ายและเร็วกว่า LSTM ที่มีสี่ประตู
ประวัติศาสตร์
GRU ถูกนำเสนอโดย Cho และคณะในปี 2014 เป็นส่วนหนึ่งของเฟรมเวิร์กตัวเข้ารหัส-ตัวถอดรหัส RNN สำหรับการแปลภาษาด้วยเครื่องเชิงสถิติ Chung และคณะ (2014) ได้ทำการประเมินเชิงประจักษ์แสดงให้เห็นว่า GRU และ LSTM มีประสิทธิภาพใกล้เคียงกันในการสร้างแบบจำลองดนตรีแบบ polyphonic และการสร้างแบบจำลองสัญญาณเสียง ในขณะที่ GRU ฝึกได้เร็วกว่า มันได้กลายเป็นเกณฑ์มาตรฐานมาตรฐานสำหรับการสร้างแบบจำลองลำดับอย่างรวดเร็ว และยังคงถูกใช้อย่างแพร่หลายในการวิจัย NLP และอนุกรมเวลา
ควรใช้เมื่อใด
ใช้ GRU เมื่อทำงานกับข้อมูลลำดับ เช่น ภาษาธรรมชาติ อนุกรมเวลา เสียง หรือบันทึกเหตุการณ์ โดยเฉพาะอย่างยิ่งเมื่อทรัพยากรคอมพิวเตอร์มีจำกัด หรือความเร็วในการฝึกมีความสำคัญ เนื่องจาก GRU ฝึกได้เร็วกว่าและใช้พารามิเตอร์น้อยกว่า LSTM โดยมีความแม่นยำเทียบเคียงกันได้บ่อยครั้ง เหมาะสำหรับงานต่างๆ เช่น การจำแนกประเภทข้อความ การวิเคราะห์ความรู้สึก การระบุชื่อเฉพาะ (named entity recognition) การสร้างแบบจำลองภาษา และการพยากรณ์อนุกรมเวลาแบบเอกปัจจัยหรือหลายปัจจัย ควรเลือกใช้ LSTM เมื่อคุณมีลำดับที่ยาวมาก ซึ่งเซลล์หน่วยความจำเพิ่มเติมของ LSTM อาจให้ข้อได้เปรียบด้านความแม่นยำ หรือเมื่อคุณสามารถยอมรับการคำนวณที่เพิ่มขึ้นได้ หลีกเลี่ยง GRU สำหรับข้อมูลตารางที่ไม่ใช่ลำดับ ซึ่งโครงข่ายแบบป้อนไปข้างหน้า (feed-forward networks) หรือแบบจำลองแบบต้นไม้ (tree-based models) จะเหมาะสมกว่า
ข้อจำกัดและข้อควรพิจารณา
- อาจมีประสิทธิภาพด้อยกว่า LSTM ในลำดับที่ยาวมาก ซึ่งเซลล์หน่วยความจำแยกต่างหากของ LSTM ให้ข้อได้เปรียบที่ชัดเจน
- ช้ากว่าและใช้หน่วยความจำมากกว่าแบบจำลองที่ใช้ Transformer สำหรับงาน NLP ที่มีบริบทขนาดยาว
- การคำนวณตามลำดับโดยเนื้อแท้จำกัดการประมวลผลแบบขนานระหว่างการฝึก ซึ่งแตกต่างจาก Transformer
- ไวต่อพารามิเตอร์ เช่น ขนาดซ่อนเร้น, dropout, และอัตราการเรียนรู้ ต้องมีการปรับแต่งอย่างระมัดระวัง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- พารามิเตอร์น้อยกว่า LSTM (สองประตูแทนที่จะเป็นสี่ประตู) นำไปสู่การฝึกที่เร็วขึ้นและการใช้หน่วยความจำที่น้อยลง
- ลดปัญหาการไล่ระดับสีที่หายไปของ RNN แบบธรรมดา ทำให้สามารถเรียนรู้ความสัมพันธ์เชิงเวลาในระยะยาวได้
- ความแม่นยำในการแข่งขันกับ LSTM ในเกณฑ์มาตรฐาน NLP และอนุกรมเวลาจำนวนมาก แม้จะมีสถาปัตยกรรมที่เรียบง่ายกว่า
- ปรับแต่งได้ง่ายกว่า: พารามิเตอร์น้อยกว่า (ขนาดซ่อนเร้น, จำนวนชั้น, dropout) กว่า LSTM
- รูปแบบ Bidirectional และ Stacked สามารถนำไปใช้ได้ง่ายเพื่อการแสดงบริบทที่สมบูรณ์ยิ่งขึ้น
การประยุกต์ใช้
- การจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึกสำหรับเอกสารสั้นถึงปานกลาง
- การระบุชื่อเฉพาะ (Named entity recognition) และการติดป้ายลำดับ (sequence labelling) ในไปป์ไลน์ NLP
- การพยากรณ์อนุกรมเวลาสำหรับข้อมูลเซ็นเซอร์ ราคาสินค้าคงคลัง และการบริโภคพลังงาน
- การรู้จำเสียงพูดและการสร้างแบบจำลองคุณลักษณะเสียง
- สถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัสสำหรับการแปลภาษาด้วยเครื่อง
- การตรวจจับความผิดปกติในบันทึกเหตุการณ์ตามลำดับและสตรีมการตรวจสอบ
วิธีการทำงาน
วิธีการทำงาน
ในแต่ละช่วงเวลา ประตูอัปเดตจะคำนวณค่าระหว่าง 0 ถึง 1 โดยใช้ข้อมูลอินพุตปัจจุบันและสถานะซ่อนเร้นก่อนหน้า ค่าที่ใกล้ 1 หมายถึงสถานะซ่อนเร้นก่อนหน้าส่วนใหญ่จะถูกเก็บรักษาไว้ ส่วนค่าที่ใกล้ 0 หมายถึงส่วนใหญ่จะถูกแทนที่ ประตูเดียวนี้จะเข้ามาแทนที่ทั้งประตูอินพุตและประตูการลืมของ LSTM
สูตร
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)ประตูรีเซ็ตจะสร้างค่าระหว่าง 0 ถึง 1 ในทำนองเดียวกัน ซึ่งจะปรับปริมาณสถานะซ่อนเร้นก่อนหน้าที่จะถูกเปิดเผยเมื่อคำนวณสถานะใหม่ที่เป็นผู้สมัคร ค่าที่ใกล้ 0 จะทำให้โครงข่ายละเลยบริบทก่อนหน้าได้อย่างมีประสิทธิภาพ ช่วยให้สามารถรีเซ็ตและมุ่งเน้นไปที่อินพุตปัจจุบัน
สูตร
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)สถานะซ่อนเร้นผู้สมัครจะถูกคำนวณโดยใช้ข้อมูลอินพุตปัจจุบันและสถานะซ่อนเร้นก่อนหน้าที่มีการใช้ประตูรีเซ็ต ผ่านฟังก์ชันกระตุ้นแบบ tanh นี่คือข้อมูลใหม่ที่เซลล์จะจัดเก็บหากประตูอัปเดตอนุญาตให้แทนที่สถานะก่อนหน้าทั้งหมด
สูตร
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)สถานะซ่อนเร้นสุดท้ายคือการประมาณค่าเชิงเส้นระหว่างสถานะซ่อนเร้นก่อนหน้าและสถานะผู้สมัคร โดยน้ำหนักของประตูอัปเดตจะเป็นตัวกำหนดว่าจะเก็บแต่ละส่วนไว้มากน้อยเพียงใด การรวมกันแบบนูน (convex combination) นี้จะส่งผ่านเกรเดียนต์ได้อย่างราบรื่นตลอดเวลา ช่วยให้โครงข่ายเรียนรู้ความสัมพันธ์ระยะยาว
สูตร
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tสถานะซ่อนเร้น ณ ช่วงเวลาสุดท้าย (หรือแต่ละช่วงเวลา) จะถูกส่งผ่านชั้นเชิงเส้น (linear layer) และ softmax (สำหรับการจำแนกประเภท) หรือฟังก์ชันกระตุ้นเชิงเส้น (สำหรับการถดถอย) เพื่อสร้างการทำนายของแบบจำลอง สำหรับงานแบบลำดับต่อลำดับ (sequence-to-sequence tasks) จะใช้สถานะซ่อนเร้น ณ ทุกช่วงเวลา
สูตร
\hat{y}_t = \text{softmax}(W_o h_t + b_o)ข้อผิดพลาดที่พบบ่อย
- การใช้ GRU กับข้อมูลตารางที่มีขนาดคงที่ ซึ่งอคติเชิงเหนี่ยวนำตามลำดับ (sequential inductive bias) ไม่ได้เพิ่มคุณค่าใดๆ เหนือกว่า MLP แบบธรรมดา
- การละเลยการเติม (padding) และการปิดบัง (masking) ลำดับที่มีความยาวไม่สม่ำเสมอ ทำให้แบบจำลองเรียนรู้ลักษณะที่เกิดจากการเติม
- การไม่ใช้การตัดเกรเดียนต์ (gradient clipping) เสี่ยงต่อการเกิดเกรเดียนต์ระเบิด (exploding gradients) ระหว่างการแพร่กระจายย้อนกลับผ่านเวลา (backpropagation through time)
- การรายงานเฉพาะความแม่นยำโดยไม่มีตัวชี้วัดระดับลำดับ เช่น F1, BLEU, หรือ MAE ขึ้นอยู่กับงาน
- การเลือก GRU สำหรับ NLP เอกสารยาว เมื่อ Transformer ที่ฝึกไว้ล่วงหน้า (BERT, RoBERTa) จะมีประสิทธิภาพมากกว่ามาก
คำถามที่พบบ่อย
เมื่อใดควรเลือก GRU แทน LSTM
GRU เป็นตัวเลือกที่ดีเมื่อความเร็วในการฝึกและประสิทธิภาพของพารามิเตอร์มีความสำคัญ และลำดับของคุณไม่ยาวมาก LSTM อาจมีข้อได้เปรียบในลำดับที่ยาวมากเนื่องจากมีเซลล์หน่วยความจำเฉพาะ แต่ผลลัพธ์เชิงประจักษ์มักจะขึ้นอยู่กับงาน ดังนั้นควรลองทั้งสองแบบและเปรียบเทียบในชุดข้อมูลตรวจสอบ
GRU สามารถจัดการกับลำดับที่มีความยาวไม่สม่ำเสมอได้หรือไม่
ได้ โดยเติมลำดับให้มีความยาวเท่ากันภายในแต่ละแบตช์ จากนั้นใช้ชั้นปิดบัง (masking layer) หรือกลไก packed-sequence ใน PyTorch เพื่อบอกให้ GRU ละเลยโทเค็นที่เติม หากไม่มีการปิดบัง แบบจำลองจะเรียนรู้รูปแบบที่ผิดพลาดจากการเติม
ควรใช้ GRU แบบสองทิศทาง (bidirectional GRU) หรือไม่
สำหรับงานที่ลำดับทั้งหมดพร้อมใช้งาน ณ เวลาที่ทำการอนุมาน (inference time) เช่น การจำแนกประเภทข้อความ หรือ NER, GRU แบบสองทิศทาง (BiGRU) จะประมวลผลแต่ละลำดับทั้งไปข้างหน้าและย้อนกลับ ทำให้แต่ละโทเค็นสามารถเข้าถึงบริบททั้งในอดีตและอนาคตได้ สำหรับการพยากรณ์แบบเรียลไทม์หรือแบบเชิงสาเหตุ (causal forecasting) มีเพียงทิศทางไปข้างหน้าเท่านั้นที่ถูกต้อง
GRU ยังคงแข่งขันกับ Transformer ได้หรือไม่
สำหรับชุดข้อมูลขนาดเล็กถึงปานกลางและลำดับที่สั้นกว่า GRU ยังคงแข่งขันได้และฝึกได้เร็วกว่า Transformer มากหากไม่มีการฝึกไว้ล่วงหน้า สำหรับงาน NLP ขนาดใหญ่ Transformer ที่ฝึกไว้ล่วงหน้า (BERT, RoBERTa) มักจะมีประสิทธิภาพเหนือกว่า GRU อย่างมาก
พารามิเตอร์หลักที่ต้องปรับแต่งมีอะไรบ้าง
ที่สำคัญที่สุดคือ ขนาดซ่อนเร้น (จำนวนหน่วยต่อชั้น), จำนวนชั้นที่ซ้อนกัน (โดยทั่วไป 1-3 ชั้น), อัตรา dropout ระหว่างชั้น, และอัตราการเรียนรู้ การตัดเกรเดียนต์ (ค่าสูงสุดประมาณ 1-5) ขอแนะนำอย่างยิ่งเพื่อทำให้การฝึกมีเสถียรภาพ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วChung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว