Gated Recurrent Unit (GRU)
- ผู้เสนอ
- Cho, K. et al.
- ปี
- 2014
- ประเภท
- Gated recurrent neural network unit
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Gated Recurrent Unit (GRU) หรือ หน่วยความจำแบบวนซ้ำแบบมีประตู เป็นเซลล์โครงข่ายประสาทเทียมแบบวนซ้ำที่มีประตู ซึ่งนำเสนอโดย Cho และคณะในปี 2014 สามารถจับความสัมพันธ์ระยะยาวในข้อมูลลำดับโดยใช้ประตูอัปเดตและประตูรีเซ็ต ให้ประสิทธิภาพเทียบเคียงได้กับ LSTM โดยมีพารามิเตอร์น้อยกว่า
แนวคิดเบื้องหลังวิธีการ
โครงข่ายแบบวนซ้ำธรรมดาประสบปัญหาในการจดจำข้อมูลข้ามลำดับยาวๆ เนื่องจากสัญญาณจะค่อยๆ จางหายไปหรือระเบิดเมื่อส่งผ่านไปทีละขั้น GRU เพิ่มประตูขนาดเล็กที่เรียนรู้ในแต่ละขั้นเวลาว่าจะเก็บข้อมูลในอดีตไว้มากน้อยเพียงใด และจะดูดซับข้อมูลใหม่มากน้อยเพียงใด ด้วยประตูเพียงสองบาน แทนที่จะเป็นสามบานของ LSTM ทำให้สามารถรักษาความจำที่มีประโยชน์ข้ามช่วงยาวๆ ได้ ในขณะที่ยังคงมีขนาดเล็กและฝึกได้เร็วกว่า
ประวัติศาสตร์
GRU ถูกนำเสนอโดย Kyunghyun Cho และคณะในปี 2014 ในกรอบงาน RNN encoder–decoder สำหรับการแปลภาษาด้วยเครื่องเชิงสถิติ ต่อมาในปีเดียวกัน Chung, Gulcehre, Cho และ Bengio ได้ประเมินหน่วยความจำแบบวนซ้ำแบบมีประตูเทียบกับ LSTM ในงานการสร้างแบบจำลองลำดับ แสดงให้เห็นว่า GRU ที่มีสองประตูที่ง่ายกว่าสามารถเทียบเคียงประสิทธิภาพของ LSTM ได้ โดยใช้พารามิเตอร์น้อยกว่า ทำให้เป็นทางเลือกที่เบากว่าและเป็นที่นิยมสำหรับแบบจำลองลำดับ
ควรใช้เมื่อใด
เหมาะสมสำหรับการทำนาย การพยากรณ์ และการจำแนกประเภทข้อมูลลำดับ — อนุกรมเวลา หรือลำดับตามยาวของค่าต่อเนื่องหรือข้อความ — เมื่อความสัมพันธ์ระยะยาวมีความสำคัญ และต้องการการฝึกที่เร็วกว่า LSTM โดยมีข้อมูลอย่างน้อยประมาณ 100 ตัวอย่าง ไม่ได้สมมติว่าข้อมูลมีการแจกแจงแบบปกติ หากมีลำดับน้อยกว่าประมาณ 500 ลำดับ ความเสี่ยงของการเกิด Overfitting จะสูง และโมเดลที่ง่ายกว่า เช่น Random Forest จะปลอดภัยกว่า หากน้อยกว่าประมาณ 100 ลำดับ การฝึกแบบวนซ้ำจะไม่มีความหมาย และ XGBoost จะเหมาะสมกว่า
ข้อจำกัดและข้อควรพิจารณา
- ความเสี่ยงสูงในการเกิด Overfitting บนชุดข้อมูลขนาดเล็ก (น้อยกว่าประมาณ 500 ลำดับ)
- ต้องการข้อมูลลำดับ; ไม่มีนัยสำคัญต่ำกว่าประมาณ 100 ตัวอย่าง
- ในฐานะกล่องดำแบบวนซ้ำ จะไม่มีสัมประสิทธิ์ที่ชัดเจนให้ตีความ
- เช่นเดียวกับโมเดลแบบวนซ้ำทั้งหมด อาจไวต่อความยาวของลำดับและการตั้งค่าการฝึก
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จับความสัมพันธ์ระยะยาวในข้อมูลลำดับผ่านประตูอัปเดตและประตูรีเซ็ตที่เรียนรู้ได้
- ความแม่นยำเทียบเคียงได้กับ LSTM โดยมีพารามิเตอร์น้อยกว่า จึงฝึกได้เร็วกว่า
- ข้อสมมติฐานน้อย: ไม่ต้องการข้อมูลที่แจกแจงแบบปกติ
- เหมาะสำหรับอนุกรมเวลาและลำดับตามยาวของค่าต่อเนื่องหรือข้อความ
การประยุกต์ใช้
- การพยากรณ์และการคาดการณ์บนอนุกรมเวลาและลำดับตามยาว
- การจำแนกประเภทลำดับบนอินพุตค่าต่อเนื่องหรือข้อความ
- การสร้างแบบจำลองความสัมพันธ์ระยะยาวที่ต้องการความจุระดับ LSTM ในต้นทุนที่ต่ำกว่า
- เกณฑ์มาตรฐานแบบวนซ้ำที่เร็วกว่าก่อนที่จะเลือกใช้โมเดลลำดับที่ซับซ้อนกว่า
วิธีการทำงาน
วิธีการทำงาน
ในแต่ละขั้นเวลา หน่วยจะคำนวณประตูสองบานจากอินพุตปัจจุบันและสถานะซ่อนก่อนหน้า ประตูอัปเดตจะตัดสินใจว่าจะส่งต่อสถานะก่อนหน้าไปมากน้อยเพียงใด เทียบกับการรีเฟรชมากน้อยเพียงใด ในขณะที่ประตูรีเซ็ตจะตัดสินใจว่าจะละทิ้งข้อมูลในอดีตมากน้อยเพียงใดในการสร้างสถานะผู้สมัครใหม่ ทั้งสองจะถูกบีบอัดด้วยฟังก์ชันซิกมอยด์ให้มีค่าระหว่างศูนย์ถึงหนึ่ง
สูตร
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})สถานะซ่อนผู้สมัครจะถูกเสนอจากอินพุตปัจจุบันที่รวมกับสถานะก่อนหน้าซึ่งถูกกรองผ่านประตูรีเซ็ต เมื่อประตูรีเซ็ตใกล้ศูนย์ หน่วยจะลืมอดีตและตอบสนองต่ออินพุตใหม่ได้อย่างมีประสิทธิภาพ เมื่อใกล้หนึ่ง มันจะผสมผสานบริบทก่อนหน้าเข้ากับผู้สมัครใหม่
สูตร
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))สถานะซ่อนใหม่คือการประมาณค่าแบบมีประตูระหว่างสถานะก่อนหน้าและผู้สมัคร ซึ่งควบคุมโดยประตูอัปเดต ขั้นตอนการผสมผสานเพียงขั้นตอนนี้ช่วยให้หน่วยสามารถรักษาความจำข้ามขั้นเวลาจำนวนมาก หรืออัปเดตได้อย่างรวดเร็ว ซึ่งเป็นสิ่งที่ทำให้ GRU สามารถจับความสัมพันธ์ระยะไกลได้โดยไม่ต้องใช้เซลล์หน่วยความจำแยกต่างหาก
สูตร
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tข้อผิดพลาดที่พบบ่อย
- การใช้ GRU กับชุดข้อมูลลำดับขนาดเล็กซึ่งเพียงแค่จำข้อมูลการฝึก
- การลืมว่าอินพุตต้องเป็นลำดับที่แท้จริง ไม่ใช่แถวตารางที่ไม่มีลำดับ
- การข้ามการแบ่งชุดข้อมูลฝึก/ตรวจสอบที่เหมาะสม และเชื่อมั่นในความเหมาะสมของลำดับภายในชุดข้อมูล
- การเลือกใช้โครงข่ายแบบวนซ้ำเมื่อโมเดลที่ง่ายกว่าจะสามารถสรุปผลได้ดีกว่าบนข้อมูลขนาดเล็ก
คำถามที่พบบ่อย
GRU แตกต่างจาก LSTM อย่างไร?
GRU ใช้สองประตู (อัปเดตและรีเซ็ต) และสถานะซ่อนเดียว ในขณะที่ LSTM ใช้สามประตูและเซลล์หน่วยความจำแยกต่างหาก ดังนั้น GRU จึงมีพารามิเตอร์น้อยกว่าและฝึกได้เร็วกว่า ในขณะที่ให้ประสิทธิภาพที่เทียบเคียงได้ในงานลำดับจำนวนมาก
GRU ต้องการข้อมูลเท่าใด?
ต้องการข้อมูลลำดับที่มีอย่างน้อยประมาณ 100 ตัวอย่าง หากมีลำดับน้อยกว่าประมาณ 500 ลำดับ ความเสี่ยงของการเกิด Overfitting จะสูง ดังนั้นโมเดลที่ง่ายกว่า เช่น Random Forest จะปลอดภัยกว่า หากน้อยกว่าประมาณ 100 ลำดับ โครงข่ายแบบวนซ้ำจะไม่มีความหมาย และ XGBoost จะเหมาะสมกว่า
GRU สมมติว่าข้อมูลมีการแจกแจงแบบปกติหรือไม่?
ไม่ เช่นเดียวกับโครงข่ายประสาทเทียมแบบวนซ้ำอื่นๆ ไม่มีการสมมติฐานเรื่องความเป็นปกติ สิ่งที่ต้องการคืออินพุตที่เป็นลำดับอย่างแท้จริง เช่น อนุกรมเวลา หรือลำดับตามยาว
เมื่อใดที่ควรเลือกใช้ GRU แทนโมเดลที่ซับซ้อนกว่า?
เลือก GRU เมื่อคุณต้องการจับความสัมพันธ์ระยะยาวในลำดับ แต่ต้องการการฝึกที่เร็วกว่าและเบากว่า LSTM และคุณมีข้อมูลลำดับเพียงพอที่จะหลีกเลี่ยง Overfitting
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วChung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว