กลไกการใส่ใจ (Attention Mechanism)
- ผู้เสนอ
- Bahdanau, D.; Luong, M.T.
- ปี
- 2015
- ประเภท
- Neural attention layer (encoder-decoder)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
กลไกการใส่ใจ ซึ่งถูกนำเสนอโดย Bahdanau, Cho และ Bengio ในปี 2015 และได้รับการปรับปรุงโดย Luong, Pham และ Manning ในปีเดียวกัน ช่วยให้ตัวถอดรหัสลำดับสามารถเรียนรู้แบบไดนามิกได้ว่าควรจะให้ความสนใจกับผลลัพธ์ใดของตัวเข้ารหัสในแต่ละขั้นตอน ก่อนหน้า Transformer กลไกนี้ได้ปรับปรุงคุณภาพของการแปลภาษาด้วยเครื่องอย่างมาก โดยปลดปล่อยโมเดลจากการบีบอัดอินพุตทั้งหมดให้อยู่ในเวกเตอร์คงที่เพียงเวกเตอร์เดียว
แนวคิดเบื้องหลังวิธีการ
ตัวเข้ารหัส-ตัวถอดรหัสแบบธรรมดาจะบีบอัดลำดับอินพุตทั้งหมดให้อยู่ในเวกเตอร์บริบทคงที่เพียงเวกเตอร์เดียว ซึ่งกลายเป็นคอขวดสำหรับลำดับที่ยาว กลไกการใส่ใจจะขจัดคอขวดนั้นออกไป: ในแต่ละขั้นตอนการส่งออก ตัวถอดรหัสจะมองย้อนกลับไปยังสถานะทั้งหมดของตัวเข้ารหัส และคำนวณการผสมแบบถ่วงน้ำหนัก โดยเน้นอย่างมากในตำแหน่งเพียงไม่กี่ตำแหน่งที่มีความสำคัญต่อคำที่กำลังจะสร้างขึ้น มันเหมือนกับนักแปลที่เหลือบมองคำต้นฉบับที่เกี่ยวข้องมากที่สุด แทนที่จะพยายามจำทั้งประโยคในคราวเดียว
ประวัติศาสตร์
กลไกการใส่ใจถูกนำเสนอโดย Bahdanau, Cho และ Bengio ในปี 2015 สำหรับการแปลภาษาด้วยเครื่องเชิงโครงข่าย โดยเรียนรู้การจัดแนวและการแปลไปพร้อมกัน เพื่อให้โมเดลไม่ต้องบีบอัดประโยคต้นฉบับทั้งหมดให้เป็นเวกเตอร์เดียว ในปีเดียวกัน Luong, Pham และ Manning ได้เสนอรูปแบบผลคูณจุด (แบบคูณ) ที่มีประสิทธิภาพ กลไกการใส่ใจได้ยกระดับคุณภาพการแปลอย่างมาก และกลายเป็นแนวคิดพื้นฐานสำหรับสถาปัตยกรรม Transformer ที่ตามมา
ควรใช้เมื่อใด
ใช้กลไกการใส่ใจเมื่อคุณมีปัญหาแบบลำดับต่อลำดับ เช่น การแปลภาษาด้วยเครื่อง หรือการประมวลผลข้อความและลำดับต่อเนื่องอื่นๆ ที่การทำนายหรือการจัดแนวที่ตีความได้มีความสำคัญ และมีโครงสร้างพื้นฐานแบบลำดับต่อลำดับอยู่แล้ว กลไกนี้สมมติว่ามีสถาปัตยกรรม seq2seq ที่ทำงานได้และสามารถคำนวณเวกเตอร์บริบทได้ วางแผนสำหรับตัวอย่างอย่างน้อยหลายร้อยตัวอย่าง ด้วยจำนวนประมาณ 500 ตัวอย่างหรือน้อยกว่า กลไกจะประสบปัญหาในการเรียนรู้น้ำหนักที่มีความหมาย และน้อยกว่าประมาณ 100 ตัวอย่าง การฝึกอบรมโดยใช้กลไกการใส่ใจจะไม่คุ้มค่า โมเดลที่ง่ายกว่า เช่น Random Forest หรือ XGBoost จะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการโครงสร้างพื้นฐาน seq2seq ที่มีอยู่และความสามารถในการคำนวณเวกเตอร์บริบท
- ในชุดข้อมูลขนาดเล็ก (ประมาณ 500 ตัวอย่างหรือน้อยกว่า) ไม่สามารถเรียนรู้น้ำหนักที่มีความหมายและมีแนวโน้มที่จะเกิดภาวะการเรียนรู้เกิน (overfitting)
- น้อยกว่าประมาณ 100 การสังเกต การฝึกอบรมโดยใช้กลไกการใส่ใจแทบจะไม่มีความหมาย
- เพิ่มต้นทุนการคำนวณเพิ่มเติมจากโมเดลตัวเข้ารหัส-ตัวถอดรหัสพื้นฐาน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ขจัดคอขวดของเวกเตอร์คงที่ ปรับปรุงการจัดการลำดับยาวได้อย่างมาก
- น้ำหนักการใส่ใจให้การจัดแนวที่ตีความได้ระหว่างอินพุตและเอาต์พุต
- มุ่งเน้นแบบไดนามิกไปยังตำแหน่งตัวเข้ารหัสที่เกี่ยวข้องมากที่สุดในแต่ละขั้นตอนการถอดรหัส
- ปรับปรุงคุณภาพการแปลภาษาด้วยเครื่องอย่างมาก และเป็นรากฐานสำหรับ Transformer
การประยุกต์ใช้
- การแปลภาษาด้วยเครื่องระหว่างคู่ภาษา
- การสร้างและสรุปข้อความแบบลำดับต่อลำดับ
- การทำนายลำดับต่อเนื่องและอินพุตสไตล์อนุกรมเวลา
- การสร้างการจัดแนวอินพุต-เอาต์พุตที่ตีความได้สำหรับการวิเคราะห์
วิธีการทำงาน
วิธีการทำงาน
ในแต่ละขั้นตอนการถอดรหัส สถานะตัวถอดรหัสปัจจุบันจะถูกเปรียบเทียบกับผลลัพธ์ของตัวเข้ารหัสแต่ละตัวเพื่อสร้างคะแนนความเกี่ยวข้อง กลไกการใส่ใจแบบ Bahdanau (แบบบวก) เรียนรู้คะแนนนี้ด้วยเครือข่ายป้อนไปข้างหน้าขนาดเล็ก ในขณะที่กลไกการใส่ใจแบบ Luong (แบบคูณ) ใช้ผลคูณจุดระหว่างคิวรีและคีย์ ซึ่งมีต้นทุนในการคำนวณต่ำกว่า
สูตร
e_{ij} = \text{score}(s_{i}, h_{j})คะแนนดิบจะถูกส่งผ่านฟังก์ชัน softmax เพื่อให้กลายเป็นชุดของน้ำหนักการใส่ใจที่มีค่าเป็นบวกและรวมกันได้หนึ่งทั่วทั้งตำแหน่งอินพุต น้ำหนักเหล่านี้แสดงให้เห็นว่าผลลัพธ์ของตัวเข้ารหัสแต่ละตัวควรได้รับความสนใจมากน้อยเพียงใดสำหรับขั้นตอนปัจจุบัน และสามารถตรวจสอบได้ในฐานะการจัดแนวที่ตีความได้ระหว่างอินพุตและเอาต์พุต
สูตร
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}ผลลัพธ์ของตัวเข้ารหัสจะถูกรวมเข้าด้วยกันเป็นเวกเตอร์บริบทเดียวจากการรวมกันแบบถ่วงน้ำหนัก โดยใช้น้ำหนักการใส่ใจ บริบทแบบไดนามิกนี้ ซึ่งแตกต่างกันในแต่ละขั้นตอน จะถูกป้อนให้กับตัวถอดรหัส เพื่อให้สามารถสร้างองค์ประกอบถัดไปได้ในขณะที่ใส่ใจกับส่วนที่เกี่ยวข้องมากที่สุดของอินพุต
สูตร
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}ข้อผิดพลาดที่พบบ่อย
- การใช้กลไกการใส่ใจกับชุดข้อมูลที่เล็กเกินไปที่จะเรียนรู้น้ำหนักที่เสถียร นำไปสู่ภาวะการเรียนรู้เกิน (overfitting)
- การปฏิบัติต่อน้ำหนักการใส่ใจเป็นการอธิบายที่ชัดเจน แทนที่จะเป็นเพียงเบาะแสการจัดแนวที่มีประโยชน์แต่ไม่สมบูรณ์
- การข้ามพื้นฐาน seq2seq และคาดหวังว่ากลไกการใส่ใจจะทำงานได้ด้วยตัวเอง
- การละเลยว่าอินพุตที่สั้นมากได้รับประโยชน์เพียงเล็กน้อยจากการใส่ใจเมื่อเทียบกับตัวเข้ารหัส-ตัวถอดรหัสแบบธรรมดา
คำถามที่พบบ่อย
กลไกการใส่ใจแก้ปัญหาอะไร?
มันขจัดคอขวดของเวกเตอร์คงที่ของโมเดลตัวเข้ารหัส-ตัวถอดรหัสแบบธรรมดา แทนที่จะบีบอัดอินพุตทั้งหมดให้อยู่ในเวกเตอร์บริบทเดียว ตัวถอดรหัสจะสร้างการผสมแบบถ่วงน้ำหนักใหม่ของสถานะตัวเข้ารหัสทั้งหมดในแต่ละขั้นตอน โดยมุ่งเน้นไปที่ตำแหน่งที่สำคัญที่สุด
ความแตกต่างระหว่างกลไกการใส่ใจแบบ Bahdanau และ Luong คืออะไร?
กลไกการใส่ใจแบบ Bahdanau (แบบบวก) เรียนรู้คะแนนความเกี่ยวข้องด้วยเครือข่ายป้อนไปข้างหน้าขนาดเล็ก ในขณะที่กลไกการใส่ใจแบบ Luong (แบบคูณ) ใช้ผลคูณจุดระหว่างคิวรีและคีย์ ซึ่งมีต้นทุนในการคำนวณต่ำกว่า
ต้องใช้ข้อมูลเท่าใด?
วางแผนสำหรับตัวอย่างอย่างน้อยหลายร้อยตัวอย่าง ด้วยจำนวนประมาณ 500 ตัวอย่างหรือน้อยกว่า กลไกจะประสบปัญหาในการเรียนรู้น้ำหนักที่มีความหมายและเกิดภาวะการเรียนรู้เกิน (overfitting) และน้อยกว่าประมาณ 100 ตัวอย่าง การฝึกอบรมโดยใช้กลไกการใส่ใจจะไม่คุ้มค่า โมเดลที่ง่ายกว่า เช่น Random Forest หรือ XGBoost จะดีกว่า
สามารถอ่านน้ำหนักการใส่ใจเป็นการอธิบายได้หรือไม่?
น้ำหนักเหล่านี้สร้างการจัดแนวที่ตีความได้ซึ่งแสดงให้เห็นว่าโมเดลให้ความสนใจที่ใด ซึ่งมีประโยชน์อย่างแท้จริง ให้ปฏิบัติต่อสิ่งนี้ในฐานะเบาะแสที่เป็นประโยชน์ แทนที่จะเป็นการอธิบายที่สมบูรณ์หรือชัดเจนเกี่ยวกับการให้เหตุผลของโมเดล
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วLuong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว