โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทาง
- ผู้เสนอ
- Schuster, M. & Paliwal, K.K.
- ปี
- 1997
- ประเภท
- Recurrent neural network (sequence model)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทาง (Bidirectional RNN) ซึ่งนำเสนอโดย Schuster และ Paliwal ในปี 1997 ประมวลผลลำดับข้อมูลทั้งในทิศทางไปข้างหน้าและย้อนกลับ เพื่อให้ทุกตำแหน่งสามารถเข้าถึงบริบทแวดล้อมทั้งหมดได้ ด้วยเซลล์ LSTM หรือ GRU (BiLSTM/BiGRU) จึงเป็นแนวทางมาตรฐานสำหรับการรู้จำหน่วยคำนาม การติดป้ายลำดับ และการรู้จำเสียงพูด
แนวคิดเบื้องหลังวิธีการ
โครงข่ายประสาทเทียมแบบวนซ้ำทั่วไปอ่านลำดับข้อมูลจากซ้ายไปขวา ดังนั้น ณ จุดใดจุดหนึ่ง จะทราบเฉพาะสิ่งที่มาก่อนหน้าเท่านั้น แต่ความหมายของคำหรือสัญญาณมักขึ้นอยู่กับสิ่งที่ตามมาด้วย โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางแก้ไขปัญหานี้โดยทำการประมวลผลสองรอบ — รอบหนึ่งไปข้างหน้า รอบหนึ่งย้อนกลับ — และรวมผลลัพธ์เข้าด้วยกัน เพื่อให้แต่ละตำแหน่งได้รับข้อมูลทั้งจากบริบทในอดีตและอนาคต
ประวัติศาสตร์
โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางถูกนำเสนอโดย Schuster และ Paliwal ในปี 1997 เพื่อให้ทุกตำแหน่งสามารถเข้าถึงบริบททั้งในอดีตและอนาคตได้ Graves และ Schmidhuber ได้ขยายแนวคิดนี้ด้วยเซลล์ LSTM ในปี 2005 สำหรับการจำแนกหน่วยเสียงตามเฟรม ทำให้ bidirectional LSTM กลายเป็นเครื่องมือสำคัญสำหรับงานรู้จำเสียงพูดและการติดป้ายลำดับ BiLSTM และ BiGRU กลายเป็นมาตรฐานในงานประมวลผลภาษาธรรมชาติก่อนการเกิดขึ้นของสถาปัตยกรรม Transformer
ควรใช้เมื่อใด
ใช้สำหรับติดป้ายลำดับ การจำแนกประเภทข้อความ หรือการทำนายข้อมูลตามลำดับหรือข้อมูลตามช่วงเวลา — เช่น NER การติดป้ายชนิดคำ หรือการรู้จำเสียงพูด — เมื่อทั้งบริบทก่อนหน้าและบริบทถัดไปมีความสำคัญ และลำดับทั้งหมดพร้อมใช้งานในคราวเดียว สามารถใช้กับข้อความและลำดับต่อเนื่องได้ และไม่สมมติว่าข้อมูลมีการแจกแจงแบบปกติ แต่ต้องการข้อมูลจำนวนพอสมควร (อย่างน้อยประมาณ 100 ลำดับ และมากกว่านั้นเพื่อการฝึกที่เสถียร)
ข้อจำกัดและข้อควรพิจารณา
- ต้องการลำดับทั้งหมดล่วงหน้า จึงไม่เหมาะสำหรับการสตรีมหรือการสร้างแบบเรียลไทม์ที่อินพุตในอนาคตยังไม่ทราบ
- บนชุดข้อมูลขนาดเล็ก (ต่ำกว่าประมาณ 500 ลำดับ) จะเกิดภาวะเรียนรู้เกิน (overfitting) และไม่สามารถดึงบริบทได้อย่างน่าเชื่อถือ
- ด้วยตัวอย่างที่เล็กมาก (ต่ำกว่าประมาณ 100) การฝึก BiLSTM/BiGRU จึงไม่มีความหมาย
- สองรอบการประมวลผลจะเพิ่มการคำนวณและหน่วยความจำเป็นสองเท่าของโครงข่ายประสาทเทียมแบบวนซ้ำทิศทางเดียว
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- แต่ละตำแหน่งจะเห็นทั้งบริบทในอดีตและอนาคต ซึ่งเป็นตัวเลือกมาตรฐานที่แข็งแกร่งสำหรับการติดป้ายลำดับ เช่น NER
- ข้อสมมติฐานน้อย: ไม่ต้องการการแจกแจงแบบปกติ ทำงานโดยตรงกับข้อความและลำดับต่อเนื่อง
- จับคู่กับเซลล์ LSTM หรือ GRU ได้อย่างเป็นธรรมชาติเพื่อจัดการกับการขึ้นต่อกันระยะยาว
- เป็นที่ยอมรับอย่างดีสำหรับการรู้จำเสียงพูดและงานจำแนกประเภทแบบเฟรมอื่นๆ
การประยุกต์ใช้
- การรู้จำหน่วยคำนามและการติดป้ายลำดับ
- การติดป้ายชนิดคำและคำอธิบายประกอบข้อความระดับโทเค็นอื่นๆ
- การรู้จำเสียงพูดและหน่วยเสียง
- การจำแนกประเภทข้อความและการทำนายข้อมูลตามลำดับหรือข้อมูลตามช่วงเวลา
วิธีการทำงาน
วิธีการทำงาน
ชั้นวนซ้ำชั้นหนึ่งอ่านลำดับข้อมูลจากต้นจนจบ โดยสร้างสถานะซ่อน (hidden state) ณ แต่ละตำแหน่ง ซึ่งสรุปทุกสิ่งที่เห็นจนถึงขณะนั้น นี่คือการประมวลผลแบบซ้ายไปขวาเช่นเดียวกับที่โครงข่ายประสาทเทียมแบบวนซ้ำทั่วไป LSTM หรือ GRU ทำงาน
สูตร
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})ชั้นวนซ้ำชั้นที่สองอ่านลำดับข้อมูลเดียวกันแบบย้อนกลับ จากท้ายสุดถึงต้นสุด โดยสร้างสถานะซ่อน ณ แต่ละตำแหน่ง ซึ่งสรุปบริบทที่จะตามมา นี่คือสิ่งที่ทำให้แบบจำลองมีความรู้เกี่ยวกับสิ่งที่ตามหลังโทเค็นแต่ละตัว
สูตร
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})ณ แต่ละตำแหน่ง สถานะซ่อนทั้งจากทิศทางไปข้างหน้าและย้อนกลับจะถูกนำมาต่อกันเป็นตัวแทนเดียวที่จับบริบทสองทิศทางได้อย่างสมบูรณ์ เวกเตอร์ที่รวมกันนี้จะถูกส่งต่อไปยังชั้นเอาต์พุตสำหรับการติดป้าย การจำแนกประเภท หรือการทำนาย
สูตร
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]ข้อผิดพลาดที่พบบ่อย
- การนำไปใช้กับงานแบบเรียลไทม์หรือการสร้างที่ส่วนของลำดับในอนาคตยังไม่พร้อมใช้งาน
- การฝึกบนข้อมูลน้อยเกินไปและเชื่อถือผลลัพธ์ทั้งที่มีภาวะเรียนรู้เกิน
- การละเลยว่าการแสดงสถานะซ่อนที่เพิ่มขึ้นสองเท่าจะเพิ่มต้นทุนการคำนวณและหน่วยความจำ
- การกลับไปใช้แบบจำลองสองทิศทางที่หนักหน่วงเมื่อชุดรวมต้นไม้ (tree ensemble) จะปลอดภัยกว่าสำหรับตัวอย่างขนาดเล็ก
คำถามที่พบบ่อย
โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางแตกต่างจากโครงข่ายประสาทเทียมแบบวนซ้ำทั่วไปอย่างไร
โครงข่ายประสาทเทียมแบบวนซ้ำทั่วไปอ่านลำดับข้อมูลในทิศทางเดียว ดังนั้นแต่ละตำแหน่งจะทราบเฉพาะอดีตเท่านั้น โครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทางจะเพิ่มรอบที่สองในทิศทางย้อนกลับและรวมทั้งสองเข้าด้วยกัน ดังนั้นแต่ละตำแหน่งจะได้รับข้อมูลจากบริบทในอนาคตด้วย
ฉันไม่สามารถใช้มันได้เมื่อใด
ต้องการลำดับทั้งหมดในคราวเดียว จึงไม่เหมาะกับการตั้งค่าแบบเรียลไทม์หรือการสร้างที่โทเค็นในอนาคตยังไม่ทราบ ในกรณีเหล่านั้น จำเป็นต้องใช้แบบจำลองทิศทางเดียว
ฉันต้องการข้อมูลเท่าใด
อย่างน้อยประมาณ 100 ลำดับเป็นเกณฑ์ขั้นต่ำ แต่การฝึกจะเชื่อถือได้ก็ต่อเมื่อมีจำนวนมากกว่านั้นอย่างพอสมควร — ต่ำกว่าประมาณ 500 ลำดับ แบบจำลองมีแนวโน้มที่จะเกิดภาวะเรียนรู้เกินและไม่สามารถดึงบริบทได้อย่างน่าเชื่อถือ บนตัวอย่างที่เล็กมาก ชุดรวมต้นไม้ เช่น random forest หรือ XGBoost จะปลอดภัยกว่า
ความแตกต่างระหว่าง BiLSTM และ BiGRU คืออะไร
ทั้งสองเป็นโครงข่ายประสาทเทียมแบบวนซ้ำสองทิศทาง แตกต่างกันที่เซลล์วนซ้ำ BiLSTM ใช้เซลล์ LSTM และ BiGRU ใช้เซลล์ GRU ซึ่งทั้งสองออกแบบมาเพื่อจับการขึ้นต่อกันระยะยาวได้ดีกว่าโครงข่ายประสาทเทียมแบบวนซ้ำธรรมดา
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วGraves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว