Skip to content
กลับไปยังผลการค้นหา

โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทาง

ผู้เสนอ
Schuster, M. & Paliwal, K.K.
ปี
1997
ประเภท
Recurrent neural network (sequence model)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทาง (Bidirectional RNN) ซึ่งนำเสนอโดย Schuster และ Paliwal ในปี 1997 ประมวลผลลำดับข้อมูลทั้งในทิศทางไปข้างหน้าและย้อนกลับ เพื่อให้ทุกตำแหน่งสามารถเข้าถึงบริบทแวดล้อมทั้งหมดได้ ด้วยเซลล์ LSTM หรือ GRU (BiLSTM/BiGRU) จึงเป็นแนวทางมาตรฐานสำหรับการรู้จำหน่วยคำนาม การติดป้ายลำดับ และการรู้จำเสียงพูด

แนวคิดเบื้องหลังวิธีการ

โครงข่ายประสาทเทียมแบบวนซ้ำทั่วไปอ่านลำดับข้อมูลจากซ้ายไปขวา ดังนั้น ณ จุดใดจุดหนึ่ง จะทราบเฉพาะสิ่งที่มาก่อนหน้าเท่านั้น แต่ความหมายของคำหรือสัญญาณมักขึ้นอยู่กับสิ่งที่ตามมาด้วย โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางแก้ไขปัญหานี้โดยทำการประมวลผลสองรอบ — รอบหนึ่งไปข้างหน้า รอบหนึ่งย้อนกลับ — และรวมผลลัพธ์เข้าด้วยกัน เพื่อให้แต่ละตำแหน่งได้รับข้อมูลทั้งจากบริบทในอดีตและอนาคต

ประวัติศาสตร์

โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางถูกนำเสนอโดย Schuster และ Paliwal ในปี 1997 เพื่อให้ทุกตำแหน่งสามารถเข้าถึงบริบททั้งในอดีตและอนาคตได้ Graves และ Schmidhuber ได้ขยายแนวคิดนี้ด้วยเซลล์ LSTM ในปี 2005 สำหรับการจำแนกหน่วยเสียงตามเฟรม ทำให้ bidirectional LSTM กลายเป็นเครื่องมือสำคัญสำหรับงานรู้จำเสียงพูดและการติดป้ายลำดับ BiLSTM และ BiGRU กลายเป็นมาตรฐานในงานประมวลผลภาษาธรรมชาติก่อนการเกิดขึ้นของสถาปัตยกรรม Transformer

ควรใช้เมื่อใด

ใช้สำหรับติดป้ายลำดับ การจำแนกประเภทข้อความ หรือการทำนายข้อมูลตามลำดับหรือข้อมูลตามช่วงเวลา — เช่น NER การติดป้ายชนิดคำ หรือการรู้จำเสียงพูด — เมื่อทั้งบริบทก่อนหน้าและบริบทถัดไปมีความสำคัญ และลำดับทั้งหมดพร้อมใช้งานในคราวเดียว สามารถใช้กับข้อความและลำดับต่อเนื่องได้ และไม่สมมติว่าข้อมูลมีการแจกแจงแบบปกติ แต่ต้องการข้อมูลจำนวนพอสมควร (อย่างน้อยประมาณ 100 ลำดับ และมากกว่านั้นเพื่อการฝึกที่เสถียร)

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการลำดับทั้งหมดล่วงหน้า จึงไม่เหมาะสำหรับการสตรีมหรือการสร้างแบบเรียลไทม์ที่อินพุตในอนาคตยังไม่ทราบ
  • บนชุดข้อมูลขนาดเล็ก (ต่ำกว่าประมาณ 500 ลำดับ) จะเกิดภาวะเรียนรู้เกิน (overfitting) และไม่สามารถดึงบริบทได้อย่างน่าเชื่อถือ
  • ด้วยตัวอย่างที่เล็กมาก (ต่ำกว่าประมาณ 100) การฝึก BiLSTM/BiGRU จึงไม่มีความหมาย
  • สองรอบการประมวลผลจะเพิ่มการคำนวณและหน่วยความจำเป็นสองเท่าของโครงข่ายประสาทเทียมแบบวนซ้ำทิศทางเดียว

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • แต่ละตำแหน่งจะเห็นทั้งบริบทในอดีตและอนาคต ซึ่งเป็นตัวเลือกมาตรฐานที่แข็งแกร่งสำหรับการติดป้ายลำดับ เช่น NER
  • ข้อสมมติฐานน้อย: ไม่ต้องการการแจกแจงแบบปกติ ทำงานโดยตรงกับข้อความและลำดับต่อเนื่อง
  • จับคู่กับเซลล์ LSTM หรือ GRU ได้อย่างเป็นธรรมชาติเพื่อจัดการกับการขึ้นต่อกันระยะยาว
  • เป็นที่ยอมรับอย่างดีสำหรับการรู้จำเสียงพูดและงานจำแนกประเภทแบบเฟรมอื่นๆ

การประยุกต์ใช้

  • การรู้จำหน่วยคำนามและการติดป้ายลำดับ
  • การติดป้ายชนิดคำและคำอธิบายประกอบข้อความระดับโทเค็นอื่นๆ
  • การรู้จำเสียงพูดและหน่วยเสียง
  • การจำแนกประเภทข้อความและการทำนายข้อมูลตามลำดับหรือข้อมูลตามช่วงเวลา

วิธีการทำงาน

วิธีการทำงาน

1

ชั้นวนซ้ำชั้นหนึ่งอ่านลำดับข้อมูลจากต้นจนจบ โดยสร้างสถานะซ่อน (hidden state) ณ แต่ละตำแหน่ง ซึ่งสรุปทุกสิ่งที่เห็นจนถึงขณะนั้น นี่คือการประมวลผลแบบซ้ายไปขวาเช่นเดียวกับที่โครงข่ายประสาทเทียมแบบวนซ้ำทั่วไป LSTM หรือ GRU ทำงาน

สูตร
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

ชั้นวนซ้ำชั้นที่สองอ่านลำดับข้อมูลเดียวกันแบบย้อนกลับ จากท้ายสุดถึงต้นสุด โดยสร้างสถานะซ่อน ณ แต่ละตำแหน่ง ซึ่งสรุปบริบทที่จะตามมา นี่คือสิ่งที่ทำให้แบบจำลองมีความรู้เกี่ยวกับสิ่งที่ตามหลังโทเค็นแต่ละตัว

สูตร
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

ณ แต่ละตำแหน่ง สถานะซ่อนทั้งจากทิศทางไปข้างหน้าและย้อนกลับจะถูกนำมาต่อกันเป็นตัวแทนเดียวที่จับบริบทสองทิศทางได้อย่างสมบูรณ์ เวกเตอร์ที่รวมกันนี้จะถูกส่งต่อไปยังชั้นเอาต์พุตสำหรับการติดป้าย การจำแนกประเภท หรือการทำนาย

สูตร
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

ข้อผิดพลาดที่พบบ่อย

  • การนำไปใช้กับงานแบบเรียลไทม์หรือการสร้างที่ส่วนของลำดับในอนาคตยังไม่พร้อมใช้งาน
  • การฝึกบนข้อมูลน้อยเกินไปและเชื่อถือผลลัพธ์ทั้งที่มีภาวะเรียนรู้เกิน
  • การละเลยว่าการแสดงสถานะซ่อนที่เพิ่มขึ้นสองเท่าจะเพิ่มต้นทุนการคำนวณและหน่วยความจำ
  • การกลับไปใช้แบบจำลองสองทิศทางที่หนักหน่วงเมื่อชุดรวมต้นไม้ (tree ensemble) จะปลอดภัยกว่าสำหรับตัวอย่างขนาดเล็ก

คำถามที่พบบ่อย

โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางแตกต่างจากโครงข่ายประสาทเทียมแบบวนซ้ำทั่วไปอย่างไร

โครงข่ายประสาทเทียมแบบวนซ้ำทั่วไปอ่านลำดับข้อมูลในทิศทางเดียว ดังนั้นแต่ละตำแหน่งจะทราบเฉพาะอดีตเท่านั้น โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางจะเพิ่มรอบที่สองในทิศทางย้อนกลับและรวมทั้งสองเข้าด้วยกัน ดังนั้นแต่ละตำแหน่งจะได้รับข้อมูลจากบริบทในอนาคตด้วย

ฉันไม่สามารถใช้มันได้เมื่อใด

ต้องการลำดับทั้งหมดในคราวเดียว จึงไม่เหมาะกับการตั้งค่าแบบเรียลไทม์หรือการสร้างที่โทเค็นในอนาคตยังไม่ทราบ ในกรณีเหล่านั้น จำเป็นต้องใช้แบบจำลองทิศทางเดียว

ฉันต้องการข้อมูลเท่าใด

อย่างน้อยประมาณ 100 ลำดับเป็นเกณฑ์ขั้นต่ำ แต่การฝึกจะเชื่อถือได้ก็ต่อเมื่อมีจำนวนมากกว่านั้นอย่างพอสมควร — ต่ำกว่าประมาณ 500 ลำดับ แบบจำลองมีแนวโน้มที่จะเกิดภาวะเรียนรู้เกินและไม่สามารถดึงบริบทได้อย่างน่าเชื่อถือ บนตัวอย่างที่เล็กมาก ชุดรวมต้นไม้ เช่น random forest หรือ XGBoost จะปลอดภัยกว่า

ความแตกต่างระหว่าง BiLSTM และ BiGRU คืออะไร

ทั้งสองเป็นโครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทาง แตกต่างกันที่เซลล์วนซ้ำ BiLSTM ใช้เซลล์ LSTM และ BiGRU ใช้เซลล์ GRU ซึ่งทั้งสองออกแบบมาเพื่อจับการขึ้นต่อกันระยะยาวได้ดีกว่าโครงข่ายประสาทเทียมแบบวนซ้ำธรรมดา

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว