ความสนใจหลายหัวของตนเอง (Multi-Head Self-Attention)
- ผู้เสนอ
- Vaswani, A. et al.
- ปี
- 2017
- ประเภท
- Attention mechanism (Transformer core)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Multi-head self-attention ซึ่ง Vaswani และคณะได้นำเสนอในปี 2017 เป็นกลไกที่ช่วยให้แต่ละตำแหน่งในลำดับสามารถคำนวณความสัมพันธ์กับตำแหน่งอื่น ๆ ทั้งหมดได้พร้อมกัน กลไกนี้เป็นหัวใจของสถาปัตยกรรม Transformer และเป็นรากฐานของ BERT, GPT และ T5
แนวคิดเบื้องหลังวิธีการ
โมเดลลำดับก่อนหน้านี้ประมวลผลข้อความทีละขั้นตอน ซึ่งทำให้การจับความสัมพันธ์ระยะยาวทำได้ยากและใช้เวลาในการคำนวณนาน ในทางกลับกัน self-attention ช่วยให้แต่ละโทเค็นสามารถมองไปยังโทเค็นอื่น ๆ ทั้งหมดได้โดยตรงพร้อมกัน และตัดสินใจว่าจะให้น้ำหนักกับแต่ละโทเค็นเท่าใด ดังนั้นจึงสามารถจับความหมายที่ขึ้นอยู่กับบริบทระยะไกลได้ในการประมวลผลแบบขนานครั้งเดียว
ประวัติศาสตร์
Self-attention ถูกนำเสนอโดย Vaswani และคณะในบทความปี 2017 'Attention Is All You Need' ซึ่งเสนอสถาปัตยกรรม Transformer และละทิ้งการวนซ้ำโดยสิ้นเชิง กลไกนี้ได้กลายเป็นรากฐานของโมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกไว้ล่วงหน้าอย่างรวดเร็ว: Devlin และคณะสร้าง BERT บน Transformer แบบสองทิศทางในปี 2019 และกลไกเดียวกันนี้เป็นพื้นฐานของ GPT และ T5
ควรใช้เมื่อใด
ใช้ self-attention เมื่อทำการสร้างแบบจำลองข้อความหรือข้อมูลลำดับอื่น ๆ ที่ความสัมพันธ์ระหว่างองค์ประกอบระยะไกลมีความสำคัญ และคุณมีข้อมูลเพียงพอที่จะฝึกโมเดลขนาดใหญ่ โดยมีข้อมูลอย่างน้อยประมาณ 100 ตัวอย่าง และหากมี 500 ตัวอย่างขึ้นไปจะดีที่สุด แนะนำให้ใช้ GPU และจำเป็นต้องใช้ positional encoding และโปรดทราบว่าต้นทุนการคำนวณเพิ่มขึ้นเป็นกำลังสองตามความยาวของลำดับ บนตัวอย่างขนาดเล็กมาก โมเดลไม่สามารถเรียนรู้การแทนค่าที่เชื่อถือได้ โมเดลที่ง่ายกว่ามีความปลอดภัยมากกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้นทุนการคำนวณและหน่วยความจำเพิ่มขึ้นเป็นกำลังสองตามความยาวของลำดับ ทำให้ลำดับที่ยาวมากมีค่าใช้จ่ายสูง
- จำเป็นต้องใช้ GPU สำหรับการฝึกที่ใช้งานได้จริง
- ต้องการ positional encoding เนื่องจาก attention เพียงอย่างเดียวไม่คำนึงถึงลำดับ
- บนชุดข้อมูลขนาดเล็ก (n ต่ำกว่าประมาณ 500) โมเดลจะเกิด overfitting และไม่สามารถเรียนรู้การแทนค่าที่เชื่อถือได้
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จับความสัมพันธ์ระยะยาวได้โดยตรง โดยไม่มีคอขวดของการวนซ้ำทีละขั้นตอน
- การคำนวณแบบขนานเต็มรูปแบบระหว่างตำแหน่ง ซึ่งปรับขนาดได้ดีบนฮาร์ดแวร์สมัยใหม่
- หลาย head สามารถให้ความสนใจกับรูปแบบความสัมพันธ์ที่แตกต่างกันได้พร้อมกัน
- ทำหน้าที่เป็นแกนหลักร่วมสำหรับ BERT, GPT และ T5 พร้อมการสนับสนุนการเรียนรู้แบบถ่ายโอน (transfer learning) ที่กว้างขวาง
การประยุกต์ใช้
- การจำแนกประเภทข้อความและงานประมวลผลภาษาธรรมชาติแบบมีผู้สอน (supervised natural-language tasks) อื่น ๆ
- การทำนายและการเรียนรู้การแทนค่าสำหรับข้อมูลลำดับ
- การฝึกเบื้องต้น (pre-training) และการปรับละเอียด (fine-tuning) ของโมเดลภาษาขนาดใหญ่ เช่น BERT และ GPT
- การตั้งค่าใด ๆ ที่ต้องสร้างแบบจำลองความสัมพันธ์ระยะยาวระหว่างองค์ประกอบของลำดับ
วิธีการทำงาน
วิธีการทำงาน
แต่ละตำแหน่งอินพุตจะถูกแปลงเป็นเวกเตอร์ที่เรียนรู้ 3 แบบ ได้แก่ query, key และ value ผ่านเมทริกซ์น้ำหนักที่แยกจากกัน query แสดงถึงสิ่งที่โทเค็นกำลังมองหา key แสดงถึงสิ่งที่แต่ละโทเค็นนำเสนอ และ value คือเนื้อหาที่จะถูกส่งต่อไป
สูตร
Q = XW_Q,\; K = XW_K,\; V = XW_V
query แต่ละตัวจะถูกเปรียบเทียบกับ key ทั้งหมดผ่าน scaled dot product ซึ่งถูกปรับสเกลด้วยรากที่สองของมิติ key เพื่อรักษาค่าให้คงที่ และผ่านฟังก์ชัน softmax เพื่อสร้างค่าน้ำหนัก attention ผลลัพธ์ของแต่ละตำแหน่งคือผลรวมถ่วงน้ำหนักของเวกเตอร์ value ทั้งหมด ดังนั้นจึงเป็นการผสมผสานข้อมูลจากทั้งลำดับพร้อมกัน
สูตร
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)Vattention จะถูกรันหลายครั้งพร้อมกันในรูปแบบของ head ที่แยกจากกัน โดยแต่ละ head จะมี projection ของตัวเอง เพื่อให้ head ที่แตกต่างกันสามารถมุ่งเน้นไปที่ความสัมพันธ์ประเภทต่าง ๆ ได้ ผลลัพธ์ของ head เหล่านั้นจะถูกนำมาต่อกันและฉายกลับมารวมกัน และเนื่องจากตำแหน่งต่าง ๆ สามารถสลับกันได้ จึงมีการเพิ่ม positional encoding เพื่อรักษาข้อมูลลำดับ
สูตร
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_Oข้อผิดพลาดที่พบบ่อย
- การฝึกด้วยข้อมูลน้อยเกินไป — ต่ำกว่าประมาณ 500 ตัวอย่าง กลไกจะเกิด overfitting แทนที่จะเรียนรู้การแทนค่าที่มีประโยชน์
- การลืม positional encoding ซึ่งทำให้โมเดลไม่สามารถรับรู้ลำดับคำได้
- การประเมินต้นทุนที่เป็นกำลังสองของลำดับยาวต่ำเกินไปและหน่วยความจำหมด
- การเลือกใช้ Transformer กับตัวอย่างขนาดเล็กมาก ซึ่งโมเดลที่ง่ายกว่า เช่น random forest หรือ XGBoost จะทำงานได้ดีกว่า
คำถามที่พบบ่อย
เหตุใด attention score จึงถูกปรับสเกลด้วยรากที่สองของมิติ key?
หากไม่มีการปรับสเกล ผลคูณจุด (dot product) จะมีค่ามากเมื่อมิติ key เพิ่มขึ้น ซึ่งจะผลักดันให้ softmax เข้าสู่บริเวณที่มี gradient ลดลง การหารด้วยรากที่สองของมิติ key จะช่วยให้คะแนนอยู่ในช่วงที่เสถียร
หลาย head เพิ่มอะไรเข้ามา?
แต่ละ head จะเรียนรู้การฉาย (projection) query, key และ value ของตัวเอง ดังนั้น head ที่แตกต่างกันจึงสามารถให้ความสนใจกับความสัมพันธ์ประเภทต่าง ๆ ได้พร้อมกัน ผลลัพธ์ของ head เหล่านั้นจะถูกนำมาต่อกันและฉายกลับมารวมกันเป็น representation เดียว
เหตุใดจึงต้องการ positional encoding?
Self-attention ถือว่าตำแหน่งต่าง ๆ สามารถสลับกันได้ ดังนั้นโดยตัวมันเองจึงไม่มีแนวคิดเรื่องลำดับ Positional encoding จะแทรกข้อมูลเกี่ยวกับตำแหน่งของแต่ละโทเค็น เพื่อให้โมเดลสามารถใช้ลำดับคำได้
ต้องการข้อมูลเท่าใด?
โมเดลนี้ต้องการข้อมูลจำนวนมาก: หากมีข้อมูลน้อยกว่าประมาณ 500 ตัวอย่าง โมเดลจะเกิด overfitting และไม่สามารถเรียนรู้การแทนค่าที่เชื่อถือได้ และหากมีข้อมูลน้อยกว่าประมาณ 100 ตัวอย่าง การฝึก Transformer จะไม่มีความหมาย สำหรับตัวอย่างขนาดเล็ก โมเดลที่ง่ายกว่า เช่น random forest หรือ XGBoost จะเหมาะสมกว่า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วDevlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว