Skip to content
กลับไปยังผลการค้นหา

Mixture of Experts

ผู้เสนอ
Shazeer, N. et al.
ปี
2017
ประเภท
Sparse neural network architecture (conditional computation)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Mixture of Experts (MoE) คือสถาปัตยกรรมโครงข่ายประสาทเทียมแบบเบาบาง (sparse neural-network architecture) ซึ่ง Shazeer และคณะได้นำเสนอในปี 2017 ด้วยชั้น MoE แบบ sparsely-gated โดยมีเพียงส่วนย่อยของโครงข่ายผู้เชี่ยวชาญ (expert sub-networks) เท่านั้นที่จะถูกเปิดใช้งานสำหรับแต่ละอินพุต ดังที่เห็นในโมเดลอย่าง Switch Transformer และ Mixtral มันช่วยให้ต้นทุนการคำนวณคงที่แม้ว่าจำนวนพารามิเตอร์ทั้งหมดจะเพิ่มขึ้นก็ตาม

แนวคิดเบื้องหลังวิธีการ

แทนที่จะประมวลผลทุกอินพุตผ่านโครงข่ายขนาดใหญ่เพียงโครงข่ายเดียว MoE จะมีชุดโครงข่ายผู้เชี่ยวชาญที่เชี่ยวชาญเฉพาะทาง และเราเตอร์ (router) ที่จะตัดสินใจว่าอินพุตแต่ละรายการควรปรึกษาผู้เชี่ยวชาญเพียงไม่กี่ราย เนื่องจากมีผู้เชี่ยวชาญเพียงไม่กี่รายเท่านั้นที่ทำงานสำหรับแต่ละอินพุต โมเดลจึงสามารถมีพารามิเตอร์จำนวนมหาศาลได้ ในขณะที่ทำงานในปริมาณที่ใกล้เคียงกันต่อตัวอย่าง — เปรียบเสมือนการปรึกษาผู้เชี่ยวชาญเพียงสองรายที่เกี่ยวข้องกับคำถาม แทนที่จะปรึกษาโรงพยาบาลทั้งแห่ง

ประวัติศาสตร์

ชั้น Mixture-of-Experts แบบ sparsely-gated ถูกนำเสนอโดย Shazeer และคณะในปี 2017 ในงาน 'Outrageously Large Neural Networks' ซึ่งแสดงให้เห็นว่าการคำนวณแบบมีเงื่อนไข (conditional computation) สามารถเพิ่มความจุของโมเดลได้หลายเท่า ในขณะที่การคำนวณยังคงที่ แนวคิดนี้ต่อมาได้ถูกนำไปใช้ในโมเดลภาษาแบบทรานส์ฟอร์มเมอร์ (transformer language models) โดยเฉพาะอย่างยิ่ง Switch Transformer และในปี 2024 Mixtral ซึ่งทำให้ MoE กลายเป็นเส้นทางมาตรฐานสู่โมเดลที่มีขนาดใหญ่มากแต่มีประสิทธิภาพ

ควรใช้เมื่อใด

ใช้ MoE สำหรับการทำนายหรือการจำแนกประเภทขนาดใหญ่บนข้อมูลข้อความและข้อมูลที่มีคุณลักษณะต่อเนื่อง (continuous-feature data) เมื่อคุณมีข้อมูลจำนวนมาก (ประมาณ 1,000 ตัวอย่างขึ้นไป) และโครงสร้างพื้นฐานการฝึกขนาดใหญ่พร้อมคลัสเตอร์ GPU ข้อสมมติฐานคือมีการใช้ router balancing loss และไปป์ไลน์การฝึกสามารถรองรับ sparse gating ได้ หากมีตัวอย่างน้อยกว่าประมาณ 1,000 รายการ เราเตอร์จะไม่สามารถเรียนรู้การเลือกผู้เชี่ยวชาญที่สมดุลได้ และการฝึกจะไม่เสถียร หากมีน้อยกว่าประมาณ 500 รายการ โมเดลจะเกิดการเรียนรู้เกิน (overfits) และโมเดลแบบหนาแน่น (dense model) เพียงโมเดลเดียวจะเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการโครงสร้างพื้นฐานการฝึกขนาดใหญ่และคลัสเตอร์ GPU
  • ต้องการ router balancing loss หากไม่มีสิ่งนี้ ภาระงานจะกระจุกตัวอยู่กับผู้เชี่ยวชาญเพียงไม่กี่ราย
  • ในข้อมูลขนาดเล็ก (n ต่ำกว่าประมาณ 1,000) เราเตอร์ไม่สามารถสร้างสมดุลในการเลือกผู้เชี่ยวชาญได้ และการฝึกจะไม่เสถียร
  • ด้วยข้อมูลน้อยมาก (n ต่ำกว่าประมาณ 500) โมเดลจะเกิดการเรียนรู้เกิน และโมเดลแบบหนาแน่นเพียงโมเดลเดียวก็เพียงพอแล้ว

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • แยกความจุของโมเดลออกจากการคำนวณต่ออินพุต — จำนวนพารามิเตอร์ทั้งหมดสามารถเพิ่มขึ้นได้ ในขณะที่การคำนวณต่อตัวอย่างยังคงที่
  • ผู้เชี่ยวชาญมีความเชี่ยวชาญเฉพาะทาง ทำให้สถาปัตยกรรมเดียวสามารถครอบคลุมอินพุตที่หลากหลาย (heterogeneous inputs)
  • ได้รับการพิสูจน์แล้วในระดับขนาดใหญ่ในระบบเช่น Switch Transformer และ Mixtral
  • การกำหนดเส้นทางแบบเบาบางแบบ Top-K ทำให้ต้นทุนการอนุมาน (inference cost) ต่ำกว่าโมเดลแบบหนาแน่นที่มีจำนวนพารามิเตอร์เท่ากันอย่างมาก

การประยุกต์ใช้

  • โมเดลภาษาขนาดใหญ่ที่เพิ่มจำนวนพารามิเตอร์โดยไม่เพิ่มต้นทุนการอนุมาน (เช่น Mixtral)
  • การทำนายและจำแนกประเภทข้อความขนาดใหญ่
  • งานทำนายบนคุณลักษณะต่อเนื่องที่มีมิติสูง ซึ่งความจุต้องเพิ่มขึ้นอย่างมีประสิทธิภาพ
  • สถาปัตยกรรมแบบคำนวณตามเงื่อนไขที่กำหนดเส้นทางอินพุตที่หลากหลายไปยังโครงข่ายย่อยที่เชี่ยวชาญเฉพาะทาง

วิธีการทำงาน

วิธีการทำงาน

1

ชั้นนี้มีโครงข่ายผู้เชี่ยวชาญแบบขนานจำนวนมาก ซึ่งแต่ละโครงข่ายเป็นโครงข่ายป้อนไปข้างหน้า (feed-forward network) ขนาดเล็ก ผู้เชี่ยวชาญจะถูกฝึกให้เชี่ยวชาญเฉพาะทาง ดังนั้นอินพุตที่แตกต่างกันจึงถูกส่งไปยังผู้เชี่ยวชาญที่แตกต่างกัน เฉพาะผู้เชี่ยวชาญที่เลือกเท่านั้นที่จะประมวลผลอินพุตที่กำหนด นี่คือเหตุผลว่าทำไมความจุทั้งหมดจึงสามารถเพิ่มขึ้นได้โดยไม่ต้องเพิ่มการคำนวณต่ออินพุต

2

เครือข่ายการให้คะแนน (gating network) หรือเราเตอร์ จะให้คะแนนผู้เชี่ยวชาญสำหรับแต่ละอินพุต และเลือกเฉพาะ K อันดับแรก (top-K) การใช้ softmax กับคะแนน K อันดับแรกเหล่านั้นจะสร้างน้ำหนักการกำหนดเส้นทาง (routing weights) ในระหว่างการฝึกขนาดใหญ่ จะมีการใช้ loss การถ่วงดุลเราเตอร์ (router balancing loss) เพื่อให้ภาระงานกระจายไปทั่วผู้เชี่ยวชาญ แทนที่จะกระจุกตัวอยู่กับผู้เชี่ยวชาญเพียงไม่กี่รายที่ได้รับความนิยม

สูตร
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

ผลลัพธ์จากผู้เชี่ยวชาญที่เลือกจะถูกรวมกันเป็นผลรวมถ่วงน้ำหนัก (weighted sum) โดยใช้น้ำหนักการให้คะแนนเป็นสัมประสิทธิ์ (coefficients) การรวมแบบเบาบางนี้คือสิ่งที่ทำให้การคำนวณคงที่ ในขณะที่จำนวนพารามิเตอร์ — และดังนั้นความจุของโมเดล — ก็เพิ่มขึ้นตามไปด้วย

สูตร
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

ข้อผิดพลาดที่พบบ่อย

  • การละเว้น router balancing loss ทำให้ผู้เชี่ยวชาญเพียงไม่กี่รายมีบทบาทหลัก และที่เหลือยังคงไม่ทำงาน
  • การใช้ MoE กับชุดข้อมูลขนาดเล็ก ซึ่งโมเดลแบบหนาแน่นเพียงโมเดลเดียวจะฝึกได้อย่างน่าเชื่อถือมากกว่า
  • การประเมินต่ำเกินไปเกี่ยวกับผลกระทบของ GPU และโครงสร้างพื้นฐานที่จำเป็นสำหรับการฝึกแบบเบาบาง
  • การปฏิบัติต่อจำนวนผู้เชี่ยวชาญเสมือนเป็นความจุที่ไม่มีค่าใช้จ่าย โดยไม่ได้คำนึงถึงความไม่เสถียรของการกำหนดเส้นทาง

คำถามที่พบบ่อย

เหตุใด MoE จึงเพิ่มพารามิเตอร์โดยไม่เพิ่มการคำนวณ

เฉพาะผู้เชี่ยวชาญ K อันดับแรกที่เลือกโดยเราเตอร์เท่านั้นที่จะทำงานสำหรับแต่ละอินพุต ดังนั้นแม้ว่าชั้นนี้จะเก็บผู้เชี่ยวชาญจำนวนมาก แต่แต่ละตัวอย่างจะสัมผัสเพียงไม่กี่ราย ความจุทั้งหมดจะเพิ่มขึ้นตามจำนวนผู้เชี่ยวชาญ ในขณะที่การคำนวณต่ออินพุตยังคงที่โดยประมาณ

router balancing loss มีไว้เพื่ออะไร

หากปล่อยไว้ตามลำพัง เราเตอร์มักจะส่งอินพุตส่วนใหญ่ไปยังผู้เชี่ยวชาญจำนวนน้อย ทำให้ผู้เชี่ยวชาญรายอื่นไม่ได้รับการฝึกฝน การถ่วงดุล loss จะลงโทษภาระงานที่ไม่สม่ำเสมอ เพื่อให้การจราจรถูกกระจายไปทั่วผู้เชี่ยวชาญ และความจุทั้งหมดถูกใช้งานจริง

MoE ต้องการข้อมูลเท่าใด

มีไว้สำหรับสภาพแวดล้อมขนาดใหญ่ — ประมาณ 1,000 ตัวอย่างขึ้นไป หากน้อยกว่านั้น เราเตอร์จะไม่สามารถเรียนรู้การเลือกผู้เชี่ยวชาญที่สมดุลได้ และการฝึกจะไม่เสถียร หากมีน้อยกว่าประมาณ 500 ตัวอย่าง โมเดลแบบหนาแน่นเพียงโมเดลเดียวจะเกิดการเรียนรู้เกินน้อยกว่า และเป็นทางเลือกที่ปลอดภัยกว่า

ฉันต้องการฮาร์ดแวร์พิเศษหรือไม่

ใช่ MoE สันนิษฐานว่ามีโครงสร้างพื้นฐานการฝึกขนาดใหญ่และคลัสเตอร์ GPU เนื่องจากผู้เชี่ยวชาญจำนวนมากและการกำหนดเส้นทางแบบเบาบางถูกออกแบบมาสำหรับการฝึกแบบกระจายที่มีปริมาณงานสูง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว