การกลั่นความรู้
- ผู้เสนอ
- Hinton, G., Vinyals, O. & Dean, J.
- ปี
- 2015
- ประเภท
- Neural network compression (teacher–student)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การกลั่นความรู้ (Knowledge Distillation) เป็นเทคนิคการบีบอัดโมเดล ซึ่ง Geoffrey Hinton และคณะ ได้นำเสนอในปี 2015 โดยฝึกโมเดลนักเรียน (student model) ขนาดเล็ก โดยใช้ผลลัพธ์แบบซอฟต์เลเบล (soft-label) จากโมเดลครู (teacher model) ขนาดใหญ่ โมเดลที่ผ่านการกลั่น เช่น DistilBERT และ TinyBERT สามารถทำประสิทธิภาพได้ใกล้เคียง 97% ของโมเดลขนาดใหญ่ แต่ทำงานได้เร็วกว่ามาก
แนวคิดเบื้องหลังวิธีการ
โมเดลขนาดใหญ่ที่มีความแม่นยำสูง มักจะช้าเกินไปหรือไม่ก็มีขนาดใหญ่เกินกว่าจะนำไปใช้งานได้จริง แทนที่จะฝึกโมเดลขนาดเล็กตั้งแต่ต้นด้วยฮาร์ดเลเบล (hard label) เพียงอย่างเดียว ให้โมเดลนั้นเรียนรู้จากผลลัพธ์ความน่าจะเป็นที่หลากหลายของโมเดลขนาดใหญ่: การกระจายตัวเต็มรูปแบบของครูในแต่ละคลาส จะให้ข้อมูลมากกว่าคำตอบที่ถูกต้องเพียงคำตอบเดียว ซึ่งเผยให้เห็นว่าคลาสใดมีความคล้ายคลึงกัน และครูมีความมั่นใจเพียงใด นักเรียนจะซึมซับ 'ความรู้ที่ซ่อนเร้น' (dark knowledge) นี้ และท้ายที่สุดจะมีขนาดเล็กลงมาก แต่ยังคงมีความสามารถเกือบเท่าเดิม
ประวัติศาสตร์
การกลั่นความรู้ถูกนำเสนอโดย Geoffrey Hinton, Oriol Vinyals และ Jeff Dean ในบทความในการประชุมเชิงปฏิบัติการ Deep Learning Workshop ของ NeurIPS ปี 2015 ซึ่งได้วางกรอบการบีบอัดโมเดลขนาดใหญ่ให้เป็นโมเดลขนาดเล็กโดยการจับคู่ผลลัพธ์ที่ถูกทำให้ซอฟต์ของโมเดลที่ใหญ่กว่า กลายเป็นเครื่องมือมาตรฐานสำหรับการนำโมเดลดีปที่กะทัดรัดไปใช้งาน DistilBERT โดย Sanh และคณะ ในปี 2019 แสดงให้เห็นถึงเวอร์ชันที่กลั่นของ BERT ซึ่งมีขนาดเล็กกว่า เร็วกว่า ถูกกว่า และเบากว่า ในขณะที่ยังคงรักษาความแม่นยำส่วนใหญ่ของต้นฉบับไว้ได้
ควรใช้เมื่อใด
นำไปใช้เมื่อคุณมีโมเดลครูที่ฝึกฝนมาอย่างดีแต่มีขนาดใหญ่ และต้องการโมเดลนักเรียนที่เล็กกว่าและเร็วกว่าเพื่อนำไปใช้งานกับงานด้านข้อความหรือฟีเจอร์ต่อเนื่อง โดยมีข้อมูลเฉพาะสำหรับงานอย่างน้อยประมาณ 100 ตัวอย่าง สมมติฐานคือโมเดลครูได้รับการฝึกฝนและพร้อมใช้งานแล้ว และมีชุดข้อมูลเฉพาะสำหรับงานพร้อมอยู่แล้ว หากมีข้อมูลน้อยกว่าประมาณ 500 ตัวอย่าง นักเรียนจะไม่สามารถกลั่นความรู้ได้เพียงพอจากครู และมีความเสี่ยงที่จะเกิดการเรียนรู้เกิน (overfitting) หากมีข้อมูลน้อยกว่าประมาณ 100 ตัวอย่าง การกลั่นจะไม่มีประโยชน์ และการเรียนรู้ของเครื่องแบบดั้งเดิมจะเป็นทางเลือกที่ปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการโมเดลครูที่ได้รับการฝึกฝนและพร้อมใช้งานแล้ว — การกลั่นจะไม่สามารถเริ่มต้นได้หากไม่มีโมเดลครู
- ต้องการชุดข้อมูลเฉพาะสำหรับงาน หากมีข้อมูลน้อยเกินไป นักเรียนจะเรียนรู้จากครูได้น้อย
- บนชุดข้อมูลขนาดเล็ก (n น้อยกว่าประมาณ 500) นักเรียนจะเกิดการเรียนรู้เกินและไม่สามารถซึมซับความรู้ของครูได้
- เพิ่มกระบวนการฝึกและการปรับแต่ง (อุณหภูมิ, น้ำหนักการผสม) นอกเหนือจากโมเดลเดิม
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้ผลลัพธ์เป็นโมเดลที่เล็กกว่าและเร็วกว่ามาก ซึ่งสามารถกู้คืนประสิทธิภาพของครูได้ประมาณ 97%
- ซอฟต์เลเบลของครูมีข้อมูลที่สมบูรณ์กว่าฮาร์ดเลเบล ซึ่งช่วยปรับปรุงการสรุปผลทั่วไป (generalisation) ของนักเรียน
- ข้อสมมติฐานน้อย: ไม่ต้องการข้อมูลที่มีการกระจายตัวแบบปกติ
- ใช้ครูที่ฝึกฝนมาแล้วซ้ำอีกครั้ง จึงเหมาะสำหรับการนำไปใช้งานและการให้บริการที่ความเร็วและขนาดมีความสำคัญ
การประยุกต์ใช้
- การบีบอัดโมเดลภาษาขนาดใหญ่ให้เป็นนักเรียนที่นำไปใช้งานได้ เช่น DistilBERT และ TinyBERT
- การเพิ่มความเร็วในการอนุมาน (inference) สำหรับการจำแนกประเภทข้อความและการทำนาย ซึ่งครูเต็มรูปแบบนั้นช้าเกินไป
- การย่อขนาดโมเดลสำหรับสภาพแวดล้อมการให้บริการที่มีข้อจำกัดด้านทรัพยากรหรือความไวต่อเวลาแฝง
- การถ่ายทอดความสามารถของโมเดลที่มีขนาดใหญ่ไปยังโมเดลที่มีน้ำหนักเบา โดยไม่ต้องฝึกฝนใหม่ตั้งแต่ต้น
วิธีการทำงาน
วิธีการทำงาน
โมเดลครูขนาดใหญ่ที่ได้รับการฝึกฝนมาอย่างดี ถือเป็นสิ่งที่กำหนดไว้แล้ว — โมเดลนั้นต้องได้รับการฝึกฝนและพร้อมใช้งานแล้ว ครูนี้มีพลังในการทำนายที่คุณต้องการรักษาไว้ แต่มีค่าใช้จ่ายสูงเกินไปที่จะใช้งานในระดับใหญ่
ครูจะสร้างผลลัพธ์แบบซอฟต์เลเบล: การกระจายตัวของความน่าจะเป็นเต็มรูปแบบในแต่ละคลาส แทนที่จะเป็นฮาร์ดเลเบลเพียงอย่างเดียว การทำนายที่ถูกทำให้ซอฟต์ลงนี้จะเปิดเผยความคล้ายคลึงที่ครูเห็นระหว่างคลาสต่างๆ ซึ่งให้สัญญาณการฝึกที่สมบูรณ์กว่าเลเบลจริงเพียงอย่างเดียว
โมเดลนักเรียนขนาดเล็กจะถูกฝึกให้ตรงกับทั้งเลเบลจริงและผลลัพธ์แบบซอฟต์ของครูไปพร้อมๆ กัน การสูญเสียจากการกลั่น (distillation loss) จะรวมเทอมครอสเอนโทรปี (cross-entropy) มาตรฐานสำหรับฮาร์ดเลเบล เข้ากับเทอมความแตกต่างของ Kullback–Leibler (Kullback–Leibler divergence) ที่ดึงเอาค่าโลจิต (logits) ของนักเรียนให้เข้าใกล้ค่าโลจิตของครู โดยมีตัวถ่วงน้ำหนักคือค่าผสมอัลฟา (alpha) ผลลัพธ์คือโมเดลนักเรียนที่กะทัดรัด ซึ่งยังคงรักษาความแม่นยำส่วนใหญ่ของครูไว้ได้
สูตร
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)ข้อผิดพลาดที่พบบ่อย
- การพยายามกลั่นโดยไม่มีครูที่ฝึกฝนมาอย่างเหมาะสมเพื่อคัดลอก
- การนำไปใช้กับชุดข้อมูลงานขนาดเล็กมาก ซึ่งการเรียนรู้ของเครื่องแบบดั้งเดิมจะทำได้ดีกว่า
- การละเลยน้ำหนักการผสมอัลฟา (alpha) ระหว่างเทอมการสูญเสียฮาร์ดเลเบลและซอฟต์เลเบล
- การคาดหวังให้นักเรียนตรงกับครูอย่างสมบูรณ์ แทนที่จะเข้าใกล้
คำถามที่พบบ่อย
เหตุใดจึงใช้ซอฟต์เลเบลแทนที่จะใช้เพียงคำตอบที่ถูกต้อง
การกระจายตัวของความน่าจะเป็นเต็มรูปแบบของครูจะเปิดเผยว่าคลาสต่างๆ ดูคล้ายคลึงกันอย่างไร และครูมีความมั่นใจเพียงใด สัญญาณเพิ่มเติมนี้ — บางครั้งเรียกว่าความรู้ที่ซ่อนเร้น (dark knowledge) — ช่วยให้นักเรียนสรุปผลทั่วไปได้ดีกว่าฮาร์ดเลเบลเพียงอย่างเดียว
นักเรียนสามารถมีขนาดเล็กได้มากน้อยเพียงใด
โมเดลที่ผ่านการกลั่น เช่น DistilBERT และ TinyBERT มีขนาดเล็กและเร็วกว่าครูอย่างมาก ในขณะที่ยังคงรักษาประสิทธิภาพของครูได้ประมาณ 97% แม้ว่าการแลกเปลี่ยนที่แน่นอนจะขึ้นอยู่กับงานและสถาปัตยกรรม
ฉันต้องการอะไรก่อนที่จะทำการกลั่น
คุณต้องการโมเดลครูที่ได้รับการฝึกฝนและพร้อมใช้งานแล้ว พร้อมกับชุดข้อมูลเฉพาะสำหรับงาน หากมีข้อมูลน้อยกว่าประมาณ 500 ตัวอย่าง นักเรียนจะประสบปัญหาในการกลั่นความรู้จากครูได้เพียงพอ และอาจเกิดการเรียนรู้เกิน
อัลฟา (alpha) ในการสูญเสียคืออะไร
อัลฟาเป็นการผสมผสานระหว่างสองส่วนของการสูญเสียจากการกลั่น: เทอมครอสเอนโทรปีสำหรับเลเบลจริง และเทอมความแตกต่างของ Kullback–Leibler ที่ปรับเอาผลลัพธ์ของนักเรียนให้สอดคล้องกับผลลัพธ์ของครู การปรับค่าอัลฟาจะช่วยสร้างสมดุลระหว่างการเรียนรู้จากความจริง กับการเรียนรู้จากครู
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วSanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว