Skip to content
กลับไปยังผลการค้นหา

โครงข่ายประสาทเทียมแบบเวียนซ้ำ (Recurrent Neural Network - RNN)

ผู้เสนอ
Rumelhart, D. E.; Elman, J. L.
ปี
1986–1990
ประเภท
Sequential neural network
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

โครงข่ายประสาทเทียมแบบเวียนซ้ำ (Recurrent Neural Network - RNN) เป็นชั้นของโครงข่ายประสาทเทียมที่ออกแบบมาเพื่อประมวลผลข้อมูลลำดับโดยการรักษา 'สถานะซ่อนเร้น' (hidden state) ซึ่งเก็บข้อมูลข้ามช่วงเวลา (time steps) RNN ในรูปแบบปัจจุบันถูกนำเสนอครั้งแรกโดย Rumelhart et al. (1986) และได้รับการพัฒนาต่อโดย Elman (1990) ทำให้ RNN กลายเป็นสถาปัตยกรรมหลักสำหรับการสร้างแบบจำลองลำดับในงานประมวลผลภาษาธรรมชาติ (NLP), การรู้จำเสียงพูด และการวิเคราะห์อนุกรมเวลา ก่อนที่จะมีการพัฒนาแบบจำลองที่ใช้กลไกการใส่ใจ (attention-based models) ขึ้นมา

แนวคิดเบื้องหลังวิธีการ

ต่างจากโครงข่ายแบบป้อนไปข้างหน้า (feedforward networks) ที่ประมวลผลข้อมูลนำเข้าแต่ละส่วนอย่างอิสระ RNN จะประมวลผลลำดับทีละองค์ประกอบ และส่ง 'สรุป' ของสิ่งที่ได้เห็นมาจนถึงปัจจุบัน ซึ่งก็คือสถานะซ่อนเร้น ไปยังขั้นตอนถัดไป ลองนึกภาพเหมือนการอ่านประโยคทีละคำ: ในแต่ละคำ คุณจะปรับปรุงความเข้าใจของคุณโดยพิจารณาจากคำก่อนหน้าทั้งหมด การเชื่อมต่อแบบเวียนซ้ำนี้ช่วยให้โครงข่ายสามารถจับความสัมพันธ์เชิงเวลา (temporal dependencies) และบริบท ทำให้เหมาะสำหรับงานที่ลำดับมีความสำคัญ และบริบทในอดีตส่งผลต่อความหมายขององค์ประกอบปัจจุบัน

ประวัติศาสตร์

รากฐานของโครงข่ายเวียนซ้ำถูกวางไว้โดย Rumelhart, Hinton และ Williams ในปี 1986 ด้วยอัลกอริทึม backpropagation through time และบทความของ Elman ในปี 1990 ได้ทำให้สถาปัตยกรรม simple recurrent network เป็นที่นิยมสำหรับการสร้างแบบจำลองทางปัญญา ตลอดช่วงทศวรรษ 1990 และ 2000 RNN เป็นกำลังสำคัญในการรู้จำเสียงพูดและการสร้างแบบจำลองภาษา แม้ว่าผลกระทบในทางปฏิบัติจะถูกจำกัดด้วยปัญหาเกรเดียนต์จางหาย จนกระทั่ง Hochreiter และ Schmidhuber ได้นำเสนอ LSTM ในปี 1997 RNN ยังคงมีความสำคัญในฐานะจุดยึดเชิงแนวคิดและแบบจำลองพื้นฐานที่มีน้ำหนักเบา

ควรใช้เมื่อใด

ควรใช้ RNN เมื่อข้อมูลของคุณเป็นลำดับและลำดับมีความหมาย เช่น ข้อความ, เสียงพูด, กระแสข้อมูลจากเซ็นเซอร์, อนุกรมเวลาทางการเงิน หรือลำดับชีวภาพที่มีความยาวปานกลาง (ไม่เกินสองสามร้อยขั้นตอน) เหมาะสมเมื่อคุณต้องการสถาปัตยกรรมแบบเวียนซ้ำที่มีขนาดกะทัดรัด หรือเมื่อมีการวางแผนการรวมระบบกับส่วนประกอบ LSTM/GRU ในภายหลัง อย่าใช้ RNN แบบธรรมดา (vanilla RNN) กับลำดับที่ยาวกว่าสองสามร้อยขั้นตอน: ปัญหาเกรเดียนต์จางหายทำให้ไม่สามารถเรียนรู้ความสัมพันธ์ระยะยาวได้ ซึ่ง LSTM หรือ GRU จะมีประสิทธิภาพมากกว่ามาก สำหรับงานการเข้าใจภาษาธรรมชาติในปี 2024 เป็นต้นไป แบบจำลองทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้า (pretrained transformers) เช่น BERT, RoBERTa เกือบจะให้ผลลัพธ์ที่ดีกว่า RNN เสมอ ควรใช้ RNN เป็นส่วนประกอบในสถาปัตยกรรมที่ใหญ่ขึ้น หรือเป็นแบบจำลองพื้นฐาน (baseline) สำหรับงานเกี่ยวกับลำดับ

ข้อจำกัดและข้อควรพิจารณา

  • ปัญหาเกรเดียนต์จางหาย/ระเบิดรุนแรงสำหรับลำดับที่ยาวกว่าประมาณ 50–200 ขั้นตอน ควรเลือกใช้ LSTM หรือ GRU
  • การคำนวณแบบลำดับไม่สามารถประมวลผลแบบขนานข้ามช่วงเวลาได้ ทำให้การฝึกช้าสำหรับลำดับยาวเมื่อเทียบกับสถาปัตยกรรมแบบคอนโวลูชันหรือทรานส์ฟอร์มเมอร์
  • ผลลัพธ์ด้อยกว่าแบบจำลองทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้าอย่างมีนัยสำคัญในเกณฑ์มาตรฐาน NLP ส่วนใหญ่ เช่น BERT และ RoBERTa
  • ความจุหน่วยความจำจำกัด: สถานะซ่อนเร้นที่มีมิติคงที่ประสบปัญหาในการบีบอัดบริบทระยะยาว

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ประมวลผลลำดับที่มีความยาวแปรผันได้อย่างเป็นธรรมชาติโดยไม่ต้องทำการเติมข้อมูล (padding) ให้มีขนาดคงที่
  • การใช้พารามิเตอร์ร่วมกันข้ามช่วงเวลาช่วยให้ขนาดแบบจำลองจัดการได้เมื่อเทียบกับความยาวของข้อมูลนำเข้า
  • เป็นรากฐานเชิงแนวคิดและการปฏิบัติสำหรับ LSTM, GRU และแบบจำลองลำดับสมัยใหม่จำนวนมาก
  • เหมาะสมในฐานะแบบจำลองพื้นฐานที่มีน้ำหนักเบาสำหรับงานจำแนกประเภทลำดับและงานถดถอย ก่อนที่จะใช้สถาปัตยกรรมที่ซับซ้อนกว่า
  • สามารถสร้างผลลัพธ์ได้ในทุกช่วงเวลา ทำให้สามารถทำงานแบบ many-to-many ได้ เช่น การติดป้ายลำดับ (sequence tagging) และการแปล

การประยุกต์ใช้

  • การจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึก (sentiment analysis) สำหรับเอกสารความยาวสั้นถึงปานกลาง
  • การสร้างแบบจำลองภาษาและการทำนายคำถัดไปในระดับอักขระหรือคำ
  • การพยากรณ์อนุกรมเวลาสำหรับข้อมูลจากเซ็นเซอร์, ข้อมูลทางการเงิน หรือข้อมูลทางสรีรวิทยาที่มีความยาวปานกลาง
  • งานติดป้ายลำดับ เช่น การติดป้ายชนิดของคำ (part-of-speech tagging) เมื่อใช้เป็นตัวเข้ารหัส (encoder)
  • ไปป์ไลน์การรู้จำเสียงพูดเป็นข้อความ (speech-to-text) และการสกัดคุณลักษณะเสียง (audio feature extraction)
  • แบบจำลองพื้นฐานสำหรับการสร้างแบบจำลองลำดับ ก่อนที่จะอัปเกรดเป็นสถาปัตยกรรม LSTM, GRU หรือทรานส์ฟอร์มเมอร์

วิธีการทำงาน

วิธีการทำงาน

1

ข้อมูลนำเข้าคือลำดับของเวกเตอร์ (คำ, ช่วงเวลา, เฟรม) ที่ป้อนเข้าสู่โครงข่ายทีละองค์ประกอบ แต่ละองค์ประกอบ x_t จะถูกจับคู่กับสถานะซ่อนเร้น h_{t-1} ที่ส่งมาจากขั้นตอนก่อนหน้า ทำให้บริบทสะสมตลอดทั้งลำดับ

2

ในแต่ละขั้นตอน t สถานะซ่อนเร้นจะถูกปรับปรุงเป็น h_t = tanh(W_h * h_{t-1} + W_x * x_t + b) เมทริกซ์น้ำหนัก W_h และ W_x จะถูกใช้ร่วมกันในทุกช่วงเวลา ดังนั้นแบบจำลองจึงเรียนรู้กฎการเปลี่ยนสถานะ (transition rule) เพียงกฎเดียวที่นำไปใช้ซ้ำๆ โดยไม่คำนึงถึงความยาวของลำดับ

สูตร
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
3

ผลลัพธ์ y_t จะถูกคำนวณจากสถานะซ่อนเร้นในแต่ละช่วงเวลา (กรณี many-to-many) หรือเฉพาะที่ขั้นตอนสุดท้ายเท่านั้น (กรณี many-to-one) สำหรับงานจำแนกประเภท (classification tasks) สถานะซ่อนเร้นสุดท้ายจะถูกส่งไปยังชั้น softmax สำหรับงานแปลงลำดับเป็นลำดับ (sequence-to-sequence tasks) ผลลัพธ์จะถูกสร้างขึ้นในทุกช่วงเวลา

สูตร
y_t = W_y h_t + b_y
4

การฝึกใช้การแพร่กระจายย้อนกลับผ่านเวลา (backpropagation through time - BPTT): เกรเดียนต์จะไหลย้อนกลับผ่านลำดับที่คลี่ออก (unrolled sequence) เพื่อปรับปรุงน้ำหนักที่ใช้ร่วมกันทั้งหมด สำหรับลำดับที่ยาว ปัญหานี้จะนำไปสู่ปัญหาเกรเดียนต์จางหาย (vanishing gradient) หรือเกรเดียนต์ระเบิด (exploding gradient) ซึ่งเกรเดียนต์มีค่าน้อยเกินไปหรือมากเกินไปจนไม่สามารถปรับปรุงขั้นตอนแรกๆ ได้อย่างน่าเชื่อถือ

5

น้ำหนักที่ใช้ร่วมกัน W_h, W_x และ W_y จะถูกปรับปรุงผ่านการไล่ระดับความชัน (gradient descent) หรือตัวปรับอัตโนมัติ (adaptive optimizer) เช่น Adam, RMSProp การตัดเกรเดียนต์ (gradient clipping) มักถูกนำมาใช้เพื่อป้องกันเกรเดียนต์ระเบิด น้ำหนักเดียวกันจะควบคุมทุกขั้นตอน ดังนั้นแบบจำลองจึงสามารถสรุปผลได้กับความยาวลำดับที่แตกต่างกัน

ข้อผิดพลาดที่พบบ่อย

  • การใช้ RNN แบบธรรมดา (vanilla RNN) กับลำดับยาวโดยไม่คำนึงถึงข้อจำกัดของปัญหาเกรเดียนต์จางหาย และเปรียบเทียบกับ LSTM/GRU
  • การไม่ตัดเกรเดียนต์ ทำให้เกิดค่า NaN ในฟังก์ชันการสูญเสีย (loss) หรือการฝึกที่ไม่เสถียรกับข้อมูลนำเข้าที่ยาวขึ้น
  • การถือว่าสถานะซ่อนเร้นสุดท้ายเป็นบทสรุปที่สมบูรณ์ โดยไม่ได้ตรวจสอบว่าข้อมูลจากลำดับช่วงต้นยังคงอยู่จริงหรือไม่
  • การข้ามการแบ่งข้อมูลฝึก/ตรวจสอบ/ทดสอบ (train/validation/test split) หรือการตรวจสอบไขว้ (cross-validation) ที่เหมาะสม โดยเฉพาะอย่างยิ่งเมื่อพิจารณาแนวโน้มของ RNN ที่จะเกิดภาวะเรียนรู้เกิน (overfitting) กับชุดข้อมูลขนาดเล็ก
  • การไม่ปรับมาตราฐาน (normalising) หรือปรับขนาด (scaling) คุณลักษณะนำเข้า ซึ่งจะทำให้ความไม่เสถียรของเกรเดียนต์รุนแรงขึ้น

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่าง RNN, LSTM และ GRU?

RNN คือสถาปัตยกรรมแบบเวียนซ้ำที่ง่ายที่สุด: มีสถานะซ่อนเร้นเพียงสถานะเดียวที่ถูกปรับปรุงในแต่ละขั้นตอน LSTM เพิ่ม 'เกต' (gates) คือ input gate, forget gate และ output gate ซึ่งช่วยปกป้องข้อมูลระยะยาวจากปัญหาเกรเดียนต์จางหาย GRU เป็นเวอร์ชันที่คล่องตัวของ LSTM โดยมีพารามิเตอร์น้อยกว่า ทั้ง LSTM และ GRU เกือบจะให้ผลลัพธ์ที่ดีกว่า RNN แบบธรรมดาเสมอในงานที่ต้องการหน่วยความจำเกินกว่าประมาณ 50–100 ขั้นตอน

ทำไมการฝึก RNN บางครั้งจึงทำให้เกิดค่า NaN ในฟังก์ชันการสูญเสีย?

ค่า NaN ในฟังก์ชันการสูญเสียเกือบทั้งหมดเกิดจากเกรเดียนต์ระเบิด ให้ใช้การตัดเกรเดียนต์ (gradient clipping) (ตัดค่า norm ที่ 1 หรือ 5) และลดอัตราการเรียนรู้ (learning rate) ตรวจสอบให้แน่ใจว่าข้อมูลนำเข้าได้รับการปรับมาตราฐานแล้ว หากปัญหายังคงอยู่ ให้เปลี่ยนไปใช้ LSTM หรือ GRU ซึ่งมีความเสถียรมากกว่าเนื่องจากกลไกเกตของมัน

ฉันยังสามารถใช้ RNN สำหรับงาน NLP ในปี 2024 ได้หรือไม่?

สำหรับงาน NLP ในระดับการผลิต แบบจำลองทรานส์ฟอร์มเมอร์ที่ได้รับการฝึกฝนล่วงหน้า เช่น BERT หรือ RoBERTa เป็นที่นิยมสูงสุด RNN แบบธรรมดาเหมาะที่สุดสำหรับใช้เป็นแบบจำลองพื้นฐานที่มีน้ำหนักเบา, ส่วนประกอบภายในสถาปัตยกรรมที่ใหญ่ขึ้น, หรือสำหรับสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากรซึ่งขนาดแบบจำลองใหญ่เป็นสิ่งต้องห้าม

ฉันจะเลือกมิติของสถานะซ่อนเร้น (hidden state dimension) ได้อย่างไร?

ตัวเลือกทั่วไปมีตั้งแต่ 64 ถึง 512 หน่วย ขึ้นอยู่กับความซับซ้อนของงานและขนาดชุดข้อมูล เริ่มต้นด้วยขนาดเล็ก (เช่น 128) ตรวจสอบค่า loss บนข้อมูลตรวจสอบ (validation loss) และเพิ่มความจุ (capacity) เฉพาะเมื่อพบว่ามีภาวะเรียนรู้ต่ำ (underfitting) เท่านั้น สถานะซ่อนเร้นที่ใหญ่ขึ้นจะเพิ่มความเสี่ยงต่อภาวะเรียนรู้เกิน (overfitting) กับชุดข้อมูลขนาดเล็ก

ฉันควรใช้ฟังก์ชันการสูญเสีย (loss function) ใดสำหรับงานจำแนกประเภทลำดับ?

สำหรับงานจำแนกประเภทแบบทวิภาค (binary classification) ให้ใช้ binary cross-entropy สำหรับงานจำแนกประเภทหลายคลาส (multi-class) ให้ใช้ categorical cross-entropy ร่วมกับ softmax บนสถานะซ่อนเร้นสุดท้าย สำหรับงานติดป้ายลำดับ (sequence labelling) (หนึ่งผลลัพธ์ต่อหนึ่งช่วงเวลา) ให้ใช้ฟังก์ชันการสูญเสียในทุกช่วงเวลาและหาค่าเฉลี่ยหรือผลรวมข้ามช่วงเวลา

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว