โครงข่ายประสาทเทียมแบบเวียนซ้ำ (Recurrent Neural Network - RNN)
- ผู้เสนอ
- Rumelhart, D. E.; Elman, J. L.
- ปี
- 1986–1990
- ประเภท
- Sequential neural network
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
โครงข่ายประสาทเทียมแบบเวียนซ้ำ (Recurrent Neural Network - RNN) เป็นชั้นของโครงข่ายประสาทเทียมที่ออกแบบมาเพื่อประมวลผลข้อมูลลำดับโดยการรักษา 'สถานะซ่อนเร้น' (hidden state) ซึ่งเก็บข้อมูลข้ามช่วงเวลา (time steps) RNN ในรูปแบบปัจจุบันถูกนำเสนอครั้งแรกโดย Rumelhart et al. (1986) และได้รับการพัฒนาต่อโดย Elman (1990) ทำให้ RNN กลายเป็นสถาปัตยกรรมหลักสำหรับการสร้างแบบจำลองลำดับในงานประมวลผลภาษาธรรมชาติ (NLP), การรู้จำเสียงพูด และการวิเคราะห์อนุกรมเวลา ก่อนที่จะมีการพัฒนาแบบจำลองที่ใช้กลไกการใส่ใจ (attention-based models) ขึ้นมา
แนวคิดเบื้องหลังวิธีการ
ต่างจากโครงข่ายแบบป้อนไปข้างหน้า (feedforward networks) ที่ประมวลผลข้อมูลนำเข้าแต่ละส่วนอย่างอิสระ RNN จะประมวลผลลำดับทีละองค์ประกอบ และส่ง 'สรุป' ของสิ่งที่ได้เห็นมาจนถึงปัจจุบัน ซึ่งก็คือสถานะซ่อนเร้น ไปยังขั้นตอนถัดไป ลองนึกภาพเหมือนการอ่านประโยคทีละคำ: ในแต่ละคำ คุณจะปรับปรุงความเข้าใจของคุณโดยพิจารณาจากคำก่อนหน้าทั้งหมด การเชื่อมต่อแบบเวียนซ้ำนี้ช่วยให้โครงข่ายสามารถจับความสัมพันธ์เชิงเวลา (temporal dependencies) และบริบท ทำให้เหมาะสำหรับงานที่ลำดับมีความสำคัญ และบริบทในอดีตส่งผลต่อความหมายขององค์ประกอบปัจจุบัน
ประวัติศาสตร์
รากฐานของโครงข่ายเวียนซ้ำถูกวางไว้โดย Rumelhart, Hinton และ Williams ในปี 1986 ด้วยอัลกอริทึม backpropagation through time และบทความของ Elman ในปี 1990 ได้ทำให้สถาปัตยกรรม simple recurrent network เป็นที่นิยมสำหรับการสร้างแบบจำลองทางปัญญา ตลอดช่วงทศวรรษ 1990 และ 2000 RNN เป็นกำลังสำคัญในการรู้จำเสียงพูดและการสร้างแบบจำลองภาษา แม้ว่าผลกระทบในทางปฏิบัติจะถูกจำกัดด้วยปัญหาเกรเดียนต์จางหาย จนกระทั่ง Hochreiter และ Schmidhuber ได้นำเสนอ LSTM ในปี 1997 RNN ยังคงมีความสำคัญในฐานะจุดยึดเชิงแนวคิดและแบบจำลองพื้นฐานที่มีน้ำหนักเบา
ควรใช้เมื่อใด
ควรใช้ RNN เมื่อข้อมูลของคุณเป็นลำดับและลำดับมีความหมาย เช่น ข้อความ, เสียงพูด, กระแสข้อมูลจากเซ็นเซอร์, อนุกรมเวลาทางการเงิน หรือลำดับชีวภาพที่มีความยาวปานกลาง (ไม่เกินสองสามร้อยขั้นตอน) เหมาะสมเมื่อคุณต้องการสถาปัตยกรรมแบบเวียนซ้ำที่มีขนาดกะทัดรัด หรือเมื่อมีการวางแผนการรวมระบบกับส่วนประกอบ LSTM/GRU ในภายหลัง อย่าใช้ RNN แบบธรรมดา (vanilla RNN) กับลำดับที่ยาวกว่าสองสามร้อยขั้นตอน: ปัญหาเกรเดียนต์จางหายทำให้ไม่สามารถเรียนรู้ความสัมพันธ์ระยะยาวได้ ซึ่ง LSTM หรือ GRU จะมีประสิทธิภาพมากกว่ามาก สำหรับงานการเข้าใจภาษาธรรมชาติในปี 2024 เป็นต้นไป แบบจำลองทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้า (pretrained transformers) เช่น BERT, RoBERTa เกือบจะให้ผลลัพธ์ที่ดีกว่า RNN เสมอ ควรใช้ RNN เป็นส่วนประกอบในสถาปัตยกรรมที่ใหญ่ขึ้น หรือเป็นแบบจำลองพื้นฐาน (baseline) สำหรับงานเกี่ยวกับลำดับ
ข้อจำกัดและข้อควรพิจารณา
- ปัญหาเกรเดียนต์จางหาย/ระเบิดรุนแรงสำหรับลำดับที่ยาวกว่าประมาณ 50–200 ขั้นตอน ควรเลือกใช้ LSTM หรือ GRU
- การคำนวณแบบลำดับไม่สามารถประมวลผลแบบขนานข้ามช่วงเวลาได้ ทำให้การฝึกช้าสำหรับลำดับยาวเมื่อเทียบกับสถาปัตยกรรมแบบคอนโวลูชันหรือทรานส์ฟอร์มเมอร์
- ผลลัพธ์ด้อยกว่าแบบจำลองทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้าอย่างมีนัยสำคัญในเกณฑ์มาตรฐาน NLP ส่วนใหญ่ เช่น BERT และ RoBERTa
- ความจุหน่วยความจำจำกัด: สถานะซ่อนเร้นที่มีมิติคงที่ประสบปัญหาในการบีบอัดบริบทระยะยาว
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ประมวลผลลำดับที่มีความยาวแปรผันได้อย่างเป็นธรรมชาติโดยไม่ต้องทำการเติมข้อมูล (padding) ให้มีขนาดคงที่
- การใช้พารามิเตอร์ร่วมกันข้ามช่วงเวลาช่วยให้ขนาดแบบจำลองจัดการได้เมื่อเทียบกับความยาวของข้อมูลนำเข้า
- เป็นรากฐานเชิงแนวคิดและการปฏิบัติสำหรับ LSTM, GRU และแบบจำลองลำดับสมัยใหม่จำนวนมาก
- เหมาะสมในฐานะแบบจำลองพื้นฐานที่มีน้ำหนักเบาสำหรับงานจำแนกประเภทลำดับและงานถดถอย ก่อนที่จะใช้สถาปัตยกรรมที่ซับซ้อนกว่า
- สามารถสร้างผลลัพธ์ได้ในทุกช่วงเวลา ทำให้สามารถทำงานแบบ many-to-many ได้ เช่น การติดป้ายลำดับ (sequence tagging) และการแปล
การประยุกต์ใช้
- การจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึก (sentiment analysis) สำหรับเอกสารความยาวสั้นถึงปานกลาง
- การสร้างแบบจำลองภาษาและการทำนายคำถัดไปในระดับอักขระหรือคำ
- การพยากรณ์อนุกรมเวลาสำหรับข้อมูลจากเซ็นเซอร์, ข้อมูลทางการเงิน หรือข้อมูลทางสรีรวิทยาที่มีความยาวปานกลาง
- งานติดป้ายลำดับ เช่น การติดป้ายชนิดของคำ (part-of-speech tagging) เมื่อใช้เป็นตัวเข้ารหัส (encoder)
- ไปป์ไลน์การรู้จำเสียงพูดเป็นข้อความ (speech-to-text) และการสกัดคุณลักษณะเสียง (audio feature extraction)
- แบบจำลองพื้นฐานสำหรับการสร้างแบบจำลองลำดับ ก่อนที่จะอัปเกรดเป็นสถาปัตยกรรม LSTM, GRU หรือทรานส์ฟอร์มเมอร์
วิธีการทำงาน
วิธีการทำงาน
ข้อมูลนำเข้าคือลำดับของเวกเตอร์ (คำ, ช่วงเวลา, เฟรม) ที่ป้อนเข้าสู่โครงข่ายทีละองค์ประกอบ แต่ละองค์ประกอบ x_t จะถูกจับคู่กับสถานะซ่อนเร้น h_{t-1} ที่ส่งมาจากขั้นตอนก่อนหน้า ทำให้บริบทสะสมตลอดทั้งลำดับ
ในแต่ละขั้นตอน t สถานะซ่อนเร้นจะถูกปรับปรุงเป็น h_t = tanh(W_h * h_{t-1} + W_x * x_t + b) เมทริกซ์น้ำหนัก W_h และ W_x จะถูกใช้ร่วมกันในทุกช่วงเวลา ดังนั้นแบบจำลองจึงเรียนรู้กฎการเปลี่ยนสถานะ (transition rule) เพียงกฎเดียวที่นำไปใช้ซ้ำๆ โดยไม่คำนึงถึงความยาวของลำดับ
สูตร
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)ผลลัพธ์ y_t จะถูกคำนวณจากสถานะซ่อนเร้นในแต่ละช่วงเวลา (กรณี many-to-many) หรือเฉพาะที่ขั้นตอนสุดท้ายเท่านั้น (กรณี many-to-one) สำหรับงานจำแนกประเภท (classification tasks) สถานะซ่อนเร้นสุดท้ายจะถูกส่งไปยังชั้น softmax สำหรับงานแปลงลำดับเป็นลำดับ (sequence-to-sequence tasks) ผลลัพธ์จะถูกสร้างขึ้นในทุกช่วงเวลา
สูตร
y_t = W_y h_t + b_y
การฝึกใช้การแพร่กระจายย้อนกลับผ่านเวลา (backpropagation through time - BPTT): เกรเดียนต์จะไหลย้อนกลับผ่านลำดับที่คลี่ออก (unrolled sequence) เพื่อปรับปรุงน้ำหนักที่ใช้ร่วมกันทั้งหมด สำหรับลำดับที่ยาว ปัญหานี้จะนำไปสู่ปัญหาเกรเดียนต์จางหาย (vanishing gradient) หรือเกรเดียนต์ระเบิด (exploding gradient) ซึ่งเกรเดียนต์มีค่าน้อยเกินไปหรือมากเกินไปจนไม่สามารถปรับปรุงขั้นตอนแรกๆ ได้อย่างน่าเชื่อถือ
น้ำหนักที่ใช้ร่วมกัน W_h, W_x และ W_y จะถูกปรับปรุงผ่านการไล่ระดับความชัน (gradient descent) หรือตัวปรับอัตโนมัติ (adaptive optimizer) เช่น Adam, RMSProp การตัดเกรเดียนต์ (gradient clipping) มักถูกนำมาใช้เพื่อป้องกันเกรเดียนต์ระเบิด น้ำหนักเดียวกันจะควบคุมทุกขั้นตอน ดังนั้นแบบจำลองจึงสามารถสรุปผลได้กับความยาวลำดับที่แตกต่างกัน
ข้อผิดพลาดที่พบบ่อย
- การใช้ RNN แบบธรรมดา (vanilla RNN) กับลำดับยาวโดยไม่คำนึงถึงข้อจำกัดของปัญหาเกรเดียนต์จางหาย และเปรียบเทียบกับ LSTM/GRU
- การไม่ตัดเกรเดียนต์ ทำให้เกิดค่า NaN ในฟังก์ชันการสูญเสีย (loss) หรือการฝึกที่ไม่เสถียรกับข้อมูลนำเข้าที่ยาวขึ้น
- การถือว่าสถานะซ่อนเร้นสุดท้ายเป็นบทสรุปที่สมบูรณ์ โดยไม่ได้ตรวจสอบว่าข้อมูลจากลำดับช่วงต้นยังคงอยู่จริงหรือไม่
- การข้ามการแบ่งข้อมูลฝึก/ตรวจสอบ/ทดสอบ (train/validation/test split) หรือการตรวจสอบไขว้ (cross-validation) ที่เหมาะสม โดยเฉพาะอย่างยิ่งเมื่อพิจารณาแนวโน้มของ RNN ที่จะเกิดภาวะเรียนรู้เกิน (overfitting) กับชุดข้อมูลขนาดเล็ก
- การไม่ปรับมาตราฐาน (normalising) หรือปรับขนาด (scaling) คุณลักษณะนำเข้า ซึ่งจะทำให้ความไม่เสถียรของเกรเดียนต์รุนแรงขึ้น
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่าง RNN, LSTM และ GRU?
RNN คือสถาปัตยกรรมแบบเวียนซ้ำที่ง่ายที่สุด: มีสถานะซ่อนเร้นเพียงสถานะเดียวที่ถูกปรับปรุงในแต่ละขั้นตอน LSTM เพิ่ม 'เกต' (gates) คือ input gate, forget gate และ output gate ซึ่งช่วยปกป้องข้อมูลระยะยาวจากปัญหาเกรเดียนต์จางหาย GRU เป็นเวอร์ชันที่คล่องตัวของ LSTM โดยมีพารามิเตอร์น้อยกว่า ทั้ง LSTM และ GRU เกือบจะให้ผลลัพธ์ที่ดีกว่า RNN แบบธรรมดาเสมอในงานที่ต้องการหน่วยความจำเกินกว่าประมาณ 50–100 ขั้นตอน
ทำไมการฝึก RNN บางครั้งจึงทำให้เกิดค่า NaN ในฟังก์ชันการสูญเสีย?
ค่า NaN ในฟังก์ชันการสูญเสียเกือบทั้งหมดเกิดจากเกรเดียนต์ระเบิด ให้ใช้การตัดเกรเดียนต์ (gradient clipping) (ตัดค่า norm ที่ 1 หรือ 5) และลดอัตราการเรียนรู้ (learning rate) ตรวจสอบให้แน่ใจว่าข้อมูลนำเข้าได้รับการปรับมาตราฐานแล้ว หากปัญหายังคงอยู่ ให้เปลี่ยนไปใช้ LSTM หรือ GRU ซึ่งมีความเสถียรมากกว่าเนื่องจากกลไกเกตของมัน
ฉันยังสามารถใช้ RNN สำหรับงาน NLP ในปี 2024 ได้หรือไม่?
สำหรับงาน NLP ในระดับการผลิต แบบจำลองทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้า เช่น BERT หรือ RoBERTa เป็นที่นิยมสูงสุด RNN แบบธรรมดาเหมาะที่สุดสำหรับใช้เป็นแบบจำลองพื้นฐานที่มีน้ำหนักเบา, ส่วนประกอบภายในสถาปัตยกรรมที่ใหญ่ขึ้น, หรือสำหรับสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากรซึ่งขนาดแบบจำลองใหญ่เป็นสิ่งต้องห้าม
ฉันจะเลือกมิติของสถานะซ่อนเร้น (hidden state dimension) ได้อย่างไร?
ตัวเลือกทั่วไปมีตั้งแต่ 64 ถึง 512 หน่วย ขึ้นอยู่กับความซับซ้อนของงานและขนาดชุดข้อมูล เริ่มต้นด้วยขนาดเล็ก (เช่น 128) ตรวจสอบค่า loss บนข้อมูลตรวจสอบ (validation loss) และเพิ่มความจุ (capacity) เฉพาะเมื่อพบว่ามีภาวะเรียนรู้ต่ำ (underfitting) เท่านั้น สถานะซ่อนเร้นที่ใหญ่ขึ้นจะเพิ่มความเสี่ยงต่อภาวะเรียนรู้เกิน (overfitting) กับชุดข้อมูลขนาดเล็ก
ฉันควรใช้ฟังก์ชันการสูญเสีย (loss function) ใดสำหรับงานจำแนกประเภทลำดับ?
สำหรับงานจำแนกประเภทแบบทวิภาค (binary classification) ให้ใช้ binary cross-entropy สำหรับงานจำแนกประเภทหลายคลาส (multi-class) ให้ใช้ categorical cross-entropy ร่วมกับ softmax บนสถานะซ่อนเร้นสุดท้าย สำหรับงานติดป้ายลำดับ (sequence labelling) (หนึ่งผลลัพธ์ต่อหนึ่งช่วงเวลา) ให้ใช้ฟังก์ชันการสูญเสียในทุกช่วงเวลาและหาค่าเฉลี่ยหรือผลรวมข้ามช่วงเวลา
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วRumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว