ทรานส์ฟอร์มเมอร์ (การประมวลผลภาษาธรรมชาติ)
- ผู้เสนอ
- Vaswani, A. et al.
- ปี
- 2017
- ประเภท
- Attention-based deep neural network
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
ทรานส์ฟอร์มเมอร์เป็นแบบจำลองการเรียนรู้เชิงลึกที่ใช้กลไกการใส่ใจ (attention-based deep learning model) ซึ่ง Vaswani และคณะได้นำเสนอในปี 2017 แบบจำลองนี้ใช้สำหรับการจำแนกประเภทข้อความ การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษา โดยอนุญาตให้โทเค็นแต่ละตัวในลำดับสามารถใส่ใจไปยังโทเค็นอื่น ๆ ได้โดยตรง ทรานส์ฟอร์มเมอร์ได้เข้ามาแทนที่สถาปัตยกรรมแบบเวียนซ้ำ (recurrent designs) ก่อนหน้านี้ด้วยกลไกการใส่ใจตนเอง (self-attention mechanism) ที่ประมวลผลลำดับทั้งหมดแบบขนาน
แนวคิดเบื้องหลังวิธีการ
แบบจำลองลำดับก่อนหน้านี้อ่านข้อความทีละคำ ทำให้มีปัญหาในการเชื่อมโยงคำที่อยู่ห่างกันในประโยค แต่ทรานส์ฟอร์มเมอร์กลับอนุญาตให้แต่ละคำมองเห็นคำอื่น ๆ ทั้งหมดพร้อมกันและตัดสินใจว่าคำใดมีความสำคัญต่อความหมายของคำนั้น กลไกการใส่ใจนี้เองที่ทำให้แบบจำลองสามารถจับบริบทระยะยาวในภาษาและเรียนรู้การแทนความหมายของข้อความที่สมบูรณ์และนำกลับมาใช้ใหม่ได้
ประวัติศาสตร์
ทรานส์ฟอร์มเมอร์ถูกนำเสนอโดย Vaswani และคณะในบทความปี 2017 เรื่อง Attention Is All You Need ซึ่งแสดงให้เห็นว่าสถาปัตยกรรมที่สร้างขึ้นทั้งหมดบนกลไกการใส่ใจ — โดยไม่มีการเวียนซ้ำ — สามารถเทียบเท่าหรือเหนือกว่าแบบจำลองลำดับก่อนหน้าได้ สถาปัตยกรรมนี้ได้กลายเป็นรากฐานสำหรับแบบจำลองภาษาที่ฝึกฝนล่วงหน้า เช่น BERT และ GPT ซึ่งปัจจุบันเป็นจุดเริ่มต้นมาตรฐานสำหรับงานการประมวลผลภาษาธรรมชาติส่วนใหญ่
ควรใช้เมื่อใด
เหมาะสมอย่างยิ่งสำหรับการจำแนกประเภทข้อความ การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษาบนชุดข้อมูลข้อความขนาดใหญ่ — อย่างน้อยประมาณ 500 เอกสาร — ที่ความเข้าใจบริบทเชิงลึกของภาษามีความสำคัญ แบบจำลองนี้ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ (normally distributed data) แต่ต้องการคลังข้อความขนาดใหญ่ และแนะนำให้ใช้แบบจำลองที่ฝึกฝนล่วงหน้า (เช่น BERT หรือ GPT) หากมีตัวอย่างน้อยกว่าประมาณ 500 รายการ กลไกการใส่ใจจะไม่สามารถเรียนรู้รูปแบบที่เชื่อถือได้ และหากน้อยกว่าประมาณ 100 รายการ แบบจำลองเชิงลึกก็ไม่มีประโยชน์ การเรียนรู้ของเครื่องแบบดั้งเดิม เช่น Random Forest หรือ XGBoost จะเป็นทางเลือกที่ปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการชุดข้อมูลข้อความขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) เพื่อเรียนรู้รูปแบบที่เชื่อถือได้
- ต่ำกว่าประมาณ 100 ตัวอย่าง การฝึกฝนแบบจำลองเชิงลึกไม่มีความหมาย และการเรียนรู้ของเครื่องแบบดั้งเดิมก็เพียงพอแล้ว
- การฝึกฝนมีค่าใช้จ่ายในการคำนวณสูง และมักต้องอาศัยแบบจำลองที่ฝึกฝนล่วงหน้า
- การแทนความหมายภายในยากต่อการตีความเมื่อเทียบกับแบบจำลองที่มีสัมประสิทธิ์ชัดเจน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- การใส่ใจตนเองจับความสัมพันธ์ระยะยาวทั่วทั้งลำดับ ซึ่งแตกต่างจากแบบจำลองแบบเวียนซ้ำทีละคำ
- ประมวลผลลำดับแบบขนาน ทำให้การฝึกฝนบนคลังข้อความขนาดใหญ่สามารถปรับขนาดได้มากขึ้น
- แบบจำลองที่ฝึกฝนล่วงหน้า (BERT, GPT) สามารถปรับแต่งอย่างละเอียดเพื่อถ่ายทอดความรู้ไปยังงานที่มีข้อมูลติดป้ายกำกับจำกัด
- จัดการงานภาษาที่หลากหลาย — การจำแนกประเภท การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษา — ภายในสถาปัตยกรรมเดียว
- ไม่มีข้อสมมติฐานเกี่ยวกับการแจกแจง: ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ
การประยุกต์ใช้
- การจำแนกประเภทข้อความ เช่น การติดป้ายอารมณ์หรือหัวข้อ
- การระบุชื่อเฉพาะ (NER) ในเอกสาร
- การสร้างแบบจำลองภาษาและการทำนายโทเค็นถัดไป
- การปรับแต่งแบบจำลองภาษาที่ฝึกฝนล่วงหน้าสำหรับงานข้อความเฉพาะทาง
วิธีการทำงาน
วิธีการทำงาน
ข้อความดิบจะถูกแบ่งออกเป็นโทเค็น และโทเค็นแต่ละตัวจะถูกแปลงเป็นเวกเตอร์ตัวเลข (embedding) เนื่องจากกลไกการใส่ใจไม่มีการกำหนดลำดับโดยธรรมชาติ จึงมีการเพิ่มข้อมูลตำแหน่งให้กับเวกเตอร์เหล่านี้ เพื่อให้แบบจำลองทราบว่าโทเค็นแต่ละตัวอยู่ในตำแหน่งใดในลำดับ
กลไกการใส่ใจตนเองจะเปรียบเทียบโทเค็นแต่ละตัวกับโทเค็นอื่น ๆ ทั้งหมด: โดยการจับคู่ query กับ key เพื่อสร้างน้ำหนักการใส่ใจ (attention weights) ซึ่งจะถูกนำไปใช้ในการรวมเวกเตอร์ค่า (value vectors) การซ้อนชั้นการใส่ใจหลายชั้นช่วยให้แบบจำลองสามารถสร้างการแทนความหมายตามบริบท (contextual representation) ซึ่งโทเค็นแต่ละตัวได้รับข้อมูลจากลำดับทั้งหมด
สูตร
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)Vการแทนความหมายตามบริบทจะป้อนเข้าสู่ส่วนหัวเฉพาะสำหรับงาน (task-specific head) เช่น ป้ายกำกับสำหรับการจำแนกประเภทข้อความ แท็กต่อโทเค็นสำหรับการระบุชื่อเฉพาะ หรือความน่าจะเป็นของโทเค็นถัดไปสำหรับการสร้างแบบจำลองภาษา ในทางปฏิบัติ แบบจำลองที่ได้รับการฝึกฝนล่วงหน้า (pre-trained model) บนคลังข้อความขนาดใหญ่ (เช่น BERT หรือ GPT) จะถูกปรับแต่งอย่างละเอียด (fine-tuned) สำหรับงานที่กำลังดำเนินการ
ข้อผิดพลาดที่พบบ่อย
- การนำทรานส์ฟอร์มเมอร์ไปใช้กับชุดข้อมูลข้อความขนาดเล็กที่กลไกการใส่ใจไม่สามารถเรียนรู้รูปแบบที่เสถียรได้
- การฝึกฝนตั้งแต่ต้นแทนที่จะปรับแต่งแบบจำลองที่ฝึกฝนล่วงหน้า เช่น BERT หรือ GPT
- การละเลยเกณฑ์ขั้นต่ำของจำนวนตัวอย่าง และการเชื่อมั่นในแบบจำลองเชิงลึกในกรณีที่การเรียนรู้ของเครื่องแบบดั้งเดิมจะทำได้ดีกว่า
- การปฏิบัติต่อน้ำหนักการใส่ใจเสมือนคำอธิบายที่ชัดเจนของการให้เหตุผลของแบบจำลอง
คำถามที่พบบ่อย
ต้องใช้ข้อมูลข้อความมากเท่าใด?
อย่างน้อยประมาณ 500 ตัวอย่างเพื่อให้กลไกการใส่ใจเรียนรู้รูปแบบที่เชื่อถือได้ หากน้อยกว่าประมาณ 100 ตัวอย่าง การฝึกฝนแบบจำลองเชิงลึกไม่คุ้มค่า และการเรียนรู้ของเครื่องแบบดั้งเดิม เช่น Random Forest หรือ XGBoost เป็นทางเลือกที่ดีกว่า
ฉันควรฝึกทรานส์ฟอร์มเมอร์ตั้งแต่ต้นหรือไม่?
โดยทั่วไปไม่ ควรใช้แบบจำลองที่ฝึกฝนล่วงหน้า เช่น BERT หรือ GPT และปรับแต่งอย่างละเอียดสำหรับงานของคุณ เนื่องจากเป็นการถ่ายทอดความรู้ที่ได้เรียนรู้จากคลังข้อมูลขนาดใหญ่ และต้องการข้อมูลติดป้ายกำกับน้อยลงมาก
รองรับงานประเภทใดบ้าง?
การจำแนกประเภทข้อความ การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษา ทั้งหมดนี้สร้างขึ้นบนสถาปัตยกรรมเดียวกันคือการใส่ใจตนเอง
เหตุใดกลไกการใส่ใจจึงมีความสำคัญ?
ช่วยให้โทเค็นแต่ละตัวในลำดับสามารถใส่ใจไปยังโทเค็นอื่น ๆ ได้โดยตรง ทำให้สามารถจับบริบทระยะยาวที่แบบจำลองแบบเวียนซ้ำทีละคำก่อนหน้านี้จัดการได้ไม่ดี
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว