Skip to content
กลับไปยังผลการค้นหา

ทรานส์ฟอร์มเมอร์ (การประมวลผลภาษาธรรมชาติ)

ผู้เสนอ
Vaswani, A. et al.
ปี
2017
ประเภท
Attention-based deep neural network

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

ทรานส์ฟอร์มเมอร์เป็นแบบจำลองการเรียนรู้เชิงลึกที่ใช้กลไกการใส่ใจ (attention-based deep learning model) ซึ่ง Vaswani และคณะได้นำเสนอในปี 2017 แบบจำลองนี้ใช้สำหรับการจำแนกประเภทข้อความ การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษา โดยอนุญาตให้โทเค็นแต่ละตัวในลำดับสามารถใส่ใจไปยังโทเค็นอื่น ๆ ได้โดยตรง ทรานส์ฟอร์มเมอร์ได้เข้ามาแทนที่สถาปัตยกรรมแบบเวียนซ้ำ (recurrent designs) ก่อนหน้านี้ด้วยกลไกการใส่ใจตนเอง (self-attention mechanism) ที่ประมวลผลลำดับทั้งหมดแบบขนาน

แนวคิดเบื้องหลังวิธีการ

แบบจำลองลำดับก่อนหน้านี้อ่านข้อความทีละคำ ทำให้มีปัญหาในการเชื่อมโยงคำที่อยู่ห่างกันในประโยค แต่ทรานส์ฟอร์มเมอร์กลับอนุญาตให้แต่ละคำมองเห็นคำอื่น ๆ ทั้งหมดพร้อมกันและตัดสินใจว่าคำใดมีความสำคัญต่อความหมายของคำนั้น กลไกการใส่ใจนี้เองที่ทำให้แบบจำลองสามารถจับบริบทระยะยาวในภาษาและเรียนรู้การแทนความหมายของข้อความที่สมบูรณ์และนำกลับมาใช้ใหม่ได้

ประวัติศาสตร์

ทรานส์ฟอร์มเมอร์ถูกนำเสนอโดย Vaswani และคณะในบทความปี 2017 เรื่อง Attention Is All You Need ซึ่งแสดงให้เห็นว่าสถาปัตยกรรมที่สร้างขึ้นทั้งหมดบนกลไกการใส่ใจ — โดยไม่มีการเวียนซ้ำ — สามารถเทียบเท่าหรือเหนือกว่าแบบจำลองลำดับก่อนหน้าได้ สถาปัตยกรรมนี้ได้กลายเป็นรากฐานสำหรับแบบจำลองภาษาที่ฝึกฝนล่วงหน้า เช่น BERT และ GPT ซึ่งปัจจุบันเป็นจุดเริ่มต้นมาตรฐานสำหรับงานการประมวลผลภาษาธรรมชาติส่วนใหญ่

ควรใช้เมื่อใด

เหมาะสมอย่างยิ่งสำหรับการจำแนกประเภทข้อความ การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษาบนชุดข้อมูลข้อความขนาดใหญ่ — อย่างน้อยประมาณ 500 เอกสาร — ที่ความเข้าใจบริบทเชิงลึกของภาษามีความสำคัญ แบบจำลองนี้ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ (normally distributed data) แต่ต้องการคลังข้อความขนาดใหญ่ และแนะนำให้ใช้แบบจำลองที่ฝึกฝนล่วงหน้า (เช่น BERT หรือ GPT) หากมีตัวอย่างน้อยกว่าประมาณ 500 รายการ กลไกการใส่ใจจะไม่สามารถเรียนรู้รูปแบบที่เชื่อถือได้ และหากน้อยกว่าประมาณ 100 รายการ แบบจำลองเชิงลึกก็ไม่มีประโยชน์ การเรียนรู้ของเครื่องแบบดั้งเดิม เช่น Random Forest หรือ XGBoost จะเป็นทางเลือกที่ปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการชุดข้อมูลข้อความขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) เพื่อเรียนรู้รูปแบบที่เชื่อถือได้
  • ต่ำกว่าประมาณ 100 ตัวอย่าง การฝึกฝนแบบจำลองเชิงลึกไม่มีความหมาย และการเรียนรู้ของเครื่องแบบดั้งเดิมก็เพียงพอแล้ว
  • การฝึกฝนมีค่าใช้จ่ายในการคำนวณสูง และมักต้องอาศัยแบบจำลองที่ฝึกฝนล่วงหน้า
  • การแทนความหมายภายในยากต่อการตีความเมื่อเทียบกับแบบจำลองที่มีสัมประสิทธิ์ชัดเจน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • การใส่ใจตนเองจับความสัมพันธ์ระยะยาวทั่วทั้งลำดับ ซึ่งแตกต่างจากแบบจำลองแบบเวียนซ้ำทีละคำ
  • ประมวลผลลำดับแบบขนาน ทำให้การฝึกฝนบนคลังข้อความขนาดใหญ่สามารถปรับขนาดได้มากขึ้น
  • แบบจำลองที่ฝึกฝนล่วงหน้า (BERT, GPT) สามารถปรับแต่งอย่างละเอียดเพื่อถ่ายทอดความรู้ไปยังงานที่มีข้อมูลติดป้ายกำกับจำกัด
  • จัดการงานภาษาที่หลากหลาย — การจำแนกประเภท การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษา — ภายในสถาปัตยกรรมเดียว
  • ไม่มีข้อสมมติฐานเกี่ยวกับการแจกแจง: ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ

การประยุกต์ใช้

  • การจำแนกประเภทข้อความ เช่น การติดป้ายอารมณ์หรือหัวข้อ
  • การระบุชื่อเฉพาะ (NER) ในเอกสาร
  • การสร้างแบบจำลองภาษาและการทำนายโทเค็นถัดไป
  • การปรับแต่งแบบจำลองภาษาที่ฝึกฝนล่วงหน้าสำหรับงานข้อความเฉพาะทาง

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความดิบจะถูกแบ่งออกเป็นโทเค็น และโทเค็นแต่ละตัวจะถูกแปลงเป็นเวกเตอร์ตัวเลข (embedding) เนื่องจากกลไกการใส่ใจไม่มีการกำหนดลำดับโดยธรรมชาติ จึงมีการเพิ่มข้อมูลตำแหน่งให้กับเวกเตอร์เหล่านี้ เพื่อให้แบบจำลองทราบว่าโทเค็นแต่ละตัวอยู่ในตำแหน่งใดในลำดับ

2

กลไกการใส่ใจตนเองจะเปรียบเทียบโทเค็นแต่ละตัวกับโทเค็นอื่น ๆ ทั้งหมด: โดยการจับคู่ query กับ key เพื่อสร้างน้ำหนักการใส่ใจ (attention weights) ซึ่งจะถูกนำไปใช้ในการรวมเวกเตอร์ค่า (value vectors) การซ้อนชั้นการใส่ใจหลายชั้นช่วยให้แบบจำลองสามารถสร้างการแทนความหมายตามบริบท (contextual representation) ซึ่งโทเค็นแต่ละตัวได้รับข้อมูลจากลำดับทั้งหมด

สูตร
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

การแทนความหมายตามบริบทจะป้อนเข้าสู่ส่วนหัวเฉพาะสำหรับงาน (task-specific head) เช่น ป้ายกำกับสำหรับการจำแนกประเภทข้อความ แท็กต่อโทเค็นสำหรับการระบุชื่อเฉพาะ หรือความน่าจะเป็นของโทเค็นถัดไปสำหรับการสร้างแบบจำลองภาษา ในทางปฏิบัติ แบบจำลองที่ได้รับการฝึกฝนล่วงหน้า (pre-trained model) บนคลังข้อความขนาดใหญ่ (เช่น BERT หรือ GPT) จะถูกปรับแต่งอย่างละเอียด (fine-tuned) สำหรับงานที่กำลังดำเนินการ

ข้อผิดพลาดที่พบบ่อย

  • การนำทรานส์ฟอร์มเมอร์ไปใช้กับชุดข้อมูลข้อความขนาดเล็กที่กลไกการใส่ใจไม่สามารถเรียนรู้รูปแบบที่เสถียรได้
  • การฝึกฝนตั้งแต่ต้นแทนที่จะปรับแต่งแบบจำลองที่ฝึกฝนล่วงหน้า เช่น BERT หรือ GPT
  • การละเลยเกณฑ์ขั้นต่ำของจำนวนตัวอย่าง และการเชื่อมั่นในแบบจำลองเชิงลึกในกรณีที่การเรียนรู้ของเครื่องแบบดั้งเดิมจะทำได้ดีกว่า
  • การปฏิบัติต่อน้ำหนักการใส่ใจเสมือนคำอธิบายที่ชัดเจนของการให้เหตุผลของแบบจำลอง

คำถามที่พบบ่อย

ต้องใช้ข้อมูลข้อความมากเท่าใด?

อย่างน้อยประมาณ 500 ตัวอย่างเพื่อให้กลไกการใส่ใจเรียนรู้รูปแบบที่เชื่อถือได้ หากน้อยกว่าประมาณ 100 ตัวอย่าง การฝึกฝนแบบจำลองเชิงลึกไม่คุ้มค่า และการเรียนรู้ของเครื่องแบบดั้งเดิม เช่น Random Forest หรือ XGBoost เป็นทางเลือกที่ดีกว่า

ฉันควรฝึกทรานส์ฟอร์มเมอร์ตั้งแต่ต้นหรือไม่?

โดยทั่วไปไม่ ควรใช้แบบจำลองที่ฝึกฝนล่วงหน้า เช่น BERT หรือ GPT และปรับแต่งอย่างละเอียดสำหรับงานของคุณ เนื่องจากเป็นการถ่ายทอดความรู้ที่ได้เรียนรู้จากคลังข้อมูลขนาดใหญ่ และต้องการข้อมูลติดป้ายกำกับน้อยลงมาก

รองรับงานประเภทใดบ้าง?

การจำแนกประเภทข้อความ การระบุชื่อเฉพาะ และการสร้างแบบจำลองภาษา ทั้งหมดนี้สร้างขึ้นบนสถาปัตยกรรมเดียวกันคือการใส่ใจตนเอง

เหตุใดกลไกการใส่ใจจึงมีความสำคัญ?

ช่วยให้โทเค็นแต่ละตัวในลำดับสามารถใส่ใจไปยังโทเค็นอื่น ๆ ได้โดยตรง ทำให้สามารถจับบริบทระยะยาวที่แบบจำลองแบบเวียนซ้ำทีละคำก่อนหน้านี้จัดการได้ไม่ดี

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว