LoRA และ PEFT
- ผู้เสนอ
- Hu, E. J. et al.; Lester, B. et al.
- ปี
- 2022
- ประเภท
- Parameter-efficient fine-tuning of large pretrained models
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
LoRA (Low-Rank Adaptation) ซึ่งนำเสนอโดย Hu และคณะ ในปี 2022 และตระกูลที่กว้างขึ้นของวิธีการปรับจูนแบบประหยัดพารามิเตอร์ (parameter-efficient fine-tuning: PEFT) จะปรับโมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า (pretrained language models) ให้เข้ากับงานใหม่ๆ โดยการฝึกฝนพารามิเตอร์เพิ่มเติมจำนวนเล็กน้อยเท่านั้น แทนที่จะฝึกฝนทุกน้ำหนักในโมเดล วิธีนี้ทำให้การปรับจูนเป็นไปได้โดยใช้หน่วยความจำ GPU และพลังประมวลผลน้อยลงอย่างมาก ในขณะที่โมเดลเดิมยังคงไม่เปลี่ยนแปลงเป็นส่วนใหญ่
แนวคิดเบื้องหลังวิธีการ
การปรับจูนโมเดลภาษาขนาดใหญ่แบบเต็มรูปแบบ (fully fine-tuning) หมายถึงการอัปเดตน้ำหนักหลายพันล้านรายการ ซึ่งมีค่าใช้จ่ายสูงทั้งในด้านหน่วยความจำและพลังประมวลผล และสร้างสำเนาโมเดลฉบับเต็มสำหรับแต่ละงาน แนวคิดหลักเบื้องหลัง LoRA คือการเปลี่ยนแปลงที่งานต้องการนั้นมักจะมีอันดับต่ำ (low-rank): สามารถจับได้ด้วยคู่เมทริกซ์ขนาดเล็กคู่หนึ่ง แทนที่จะเป็นการอัปเดตแบบหนาแน่น (dense update) กับทุกน้ำหนัก วิธีการ PEFT ใช้ประโยชน์จากสิ่งนี้โดยการตรึงโมเดลเดิมไว้ และฝึกฝนชุดพารามิเตอร์ใหม่เพียงเล็กน้อยเท่านั้น ดังนั้นโมเดลพื้นฐานเดียวสามารถปรับให้เชี่ยวชาญสำหรับงานต่างๆ ได้อย่างคุ้มค่า
ประวัติศาสตร์
LoRA ถูกนำเสนอโดย Hu และคณะ ในปี 2022 โดยเสนอว่าการอัปเดตน้ำหนักที่จำเป็นในการปรับโมเดลภาษาขนาดใหญ่สามารถแสดงได้ด้วยการแยกส่วนประกอบอันดับต่ำ (low-rank decomposition) ที่ฝึกฝนแทนการปรับจูนแบบเต็มรูปแบบ มันต่อยอดมาจากแนวคิดประหยัดพารามิเตอร์ก่อนหน้านี้ รวมถึง prompt tuning ของ Lester และคณะ (2021) ซึ่งแสดงให้เห็นว่าการปรับจูนพารามิเตอร์ soft-prompt เพียงชุดเล็กๆ นั้นมีความสามารถในการแข่งขันเพิ่มขึ้นเรื่อยๆ เมื่อขนาดของโมเดลใหญ่ขึ้น วิธีการเหล่านี้ร่วมกันทำให้การปรับจูนแบบประหยัดพารามิเตอร์กลายเป็นวิธีมาตรฐานในการปรับโมเดลที่ได้รับการฝึกฝนล่วงหน้าให้เชี่ยวชาญได้อย่างคุ้มค่า
ควรใช้เมื่อใด
ใช้ LoRA และ PEFT เมื่อคุณต้องการปรับโมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าให้เข้ากับงานจำแนกประเภทข้อความ (text classification) หรือการทำนาย (prediction) ที่เฉพาะเจาะจง แต่ไม่สามารถจ่ายค่าหน่วยความจำและพลังประมวลผลของการปรับจูนแบบเต็มรูปแบบได้ จำเป็นต้องมีโมเดลขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าอยู่แล้ว ควรเตรียมข้อมูลเฉพาะของงาน และแนะนำให้ใช้ GPU วิธีการเหล่านี้ทำงานได้ดีที่สุดกับชุดข้อมูลสำหรับงานที่มีขนาดใหญ่พอสมควร สำหรับชุดข้อมูลขนาดเล็กมาก (ต่ำกว่าสองสามร้อยตัวอย่าง) การปรับจูนมีแนวโน้มที่จะเกิด overfit และโมเดลที่ง่ายกว่า เช่น random forest หรือ gradient boosting จะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องใช้โมเดลขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าเพื่อเริ่มต้น; ไม่ได้ฝึกโมเดลตั้งแต่ต้น
- แนะนำให้ใช้ GPU และต้องเตรียมข้อมูลเฉพาะของงานล่วงหน้า
- สำหรับชุดข้อมูลงานขนาดเล็ก (ต่ำกว่าประมาณ 500 ตัวอย่าง) การปรับจูนอาจให้การปรับตัวไม่เพียงพอและมีความเสี่ยงต่อการเกิด overfit
- เมื่อมีข้อมูลงานน้อยมาก (ต่ำกว่าประมาณ 50 ตัวอย่าง) แม้แต่การปรับจูนแบบประหยัดพารามิเตอร์ก็ไม่มีความหมาย
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- หน่วยความจำ GPU และพลังประมวลผลลดลงอย่างมากเมื่อเทียบกับการปรับจูนแบบเต็มรูปแบบ เนื่องจากมีการฝึกฝนพารามิเตอร์เพียงชุดเล็กๆ เท่านั้น
- โมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าเดิมจะถูกตรึงไว้และนำกลับมาใช้ซ้ำสำหรับงานต่างๆ ดังนั้นโมเดลพื้นฐานเดียวสามารถปรับให้เชี่ยวชาญได้หลายครั้ง
- การอัปเดตอันดับต่ำที่เรียนรู้มาสามารถรวมกลับเข้าไปในน้ำหนักได้ โดยไม่เพิ่มภาระในการอนุมาน
- ครอบคลุมตระกูลของทางเลือกต่างๆ — LoRA, prefix tuning, prompt tuning — ดังนั้นการปรับจูนสามารถวางไว้ในตำแหน่งที่ทำงานได้ดีที่สุด
การประยุกต์ใช้
- การปรับโมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าให้เข้ากับงานจำแนกประเภทข้อความเฉพาะทาง (domain-specific text classification task)
- การปรับโมเดลพื้นฐานเดียวให้เชี่ยวชาญสำหรับหลายๆ งานโดยไม่ต้องจัดเก็บสำเนาเต็มรูปแบบต่อหนึ่งงาน
- การปรับจูนภายใต้หน่วยความจำ GPU ที่จำกัด ซึ่งการปรับจูนแบบเต็มรูปแบบเป็นไปไม่ได้
- งานทำนายข้อความที่ต่อยอดมาจากโมเดลภาษาที่ได้รับการฝึกฝนล่วงหน้าแล้ว
วิธีการทำงาน
วิธีการทำงาน
โมเดลขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าแล้วจะถูกนำมาใช้เป็นจุดเริ่มต้นที่คงที่ แทนที่จะปรับจูนน้ำหนักทั้งหมด พารามิเตอร์เดิมจะถูกตรึงไว้ และจะมีการเพิ่มชุดพารามิเตอร์เพิ่มเติมเพียงเล็กน้อยเพื่อฝึกฝนสำหรับงานเป้าหมาย LoRA, prefix tuning และ prompt tuning เป็นวิธีการหลักในตระกูลนี้ โดยแต่ละวิธีจะเพิ่มพารามิเตอร์ในตำแหน่งที่แตกต่างกัน
ใน LoRA การอัปเดตเมทริกซ์น้ำหนักที่ถูกตรึงไว้จะถูกจำกัดให้มีอันดับต่ำ (low-rank): มันจะถูกเขียนในรูปผลคูณของเมทริกซ์ขนาดเล็กสองตัว ดังนั้นจะมีเพียงเมทริกซ์ขนาดเล็กเหล่านั้นเท่านั้นที่ได้รับการฝึกฝน ในขณะที่น้ำหนักเดิมยังคงที่ เนื่องจากอันดับมีค่าน้อยกว่ามิติของน้ำหนักมาก จำนวนพารามิเตอร์ที่ฝึกฝนได้จึงลดลงอย่างมาก ซึ่งเป็นสิ่งที่ช่วยลดต้นทุนหน่วยความจำและพลังประมวลผลของการปรับจูน
สูตร
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)มีเพียงพารามิเตอร์เพิ่มเติมขนาดเล็กเท่านั้นที่จะถูกปรับให้เหมาะสม (optimised) กับข้อมูลเฉพาะของงาน โดยใช้หน่วยความจำ GPU น้อยกว่าการปรับจูนแบบเต็มรูปแบบมาก โมเดลพื้นฐานจะถูกนำกลับมาใช้ซ้ำสำหรับงานต่างๆ โดยไม่มีการเปลี่ยนแปลง และการอัปเดตอันดับต่ำที่เรียนรู้มาสามารถรวมกลับเข้าไปในน้ำหนักได้สำหรับการอนุมาน (inference) แนะนำให้ใช้ GPU และจำเป็นต้องมีชุดข้อมูลสำหรับงานที่มีขนาดพอสมควรเพื่อให้การปรับจูนมีความหมาย
ข้อผิดพลาดที่พบบ่อย
- การใช้ LoRA/PEFT กับชุดข้อมูลขนาดเล็กและคาดหวังการปรับตัวที่เชื่อถือได้ แทนที่จะกลับไปใช้โมเดลแบบดั้งเดิม
- การปฏิบัติต่อการปรับจูนแบบประหยัดพารามิเตอร์เสมือนเป็นสิ่งทดแทนการมีโมเดลพื้นฐานที่ได้รับการฝึกฝนล่วงหน้าที่เหมาะสม
- การละเลยความเสี่ยง overfit บนข้อมูลงานขนาดเล็ก แทนที่จะติดตามประสิทธิภาพการตรวจสอบ (validation performance)
- การสันนิษฐานว่าวิธีการนี้ช่วยขจัดความจำเป็นในการใช้ GPU เมื่อมีการแนะนำให้ใช้
คำถามที่พบบ่อย
ความแตกต่างระหว่าง LoRA และ PEFT คืออะไร?
PEFT (parameter-efficient fine-tuning) คือตระกูลที่กว้างของวิธีการที่ปรับโมเดลขนาดใหญ่โดยการฝึกฝนพารามิเตอร์เพิ่มเติมจำนวนเล็กน้อยเท่านั้น LoRA เป็นวิธีการ PEFT ที่เฉพาะเจาะจง ซึ่งฝึกฝนการอัปเดตอันดับต่ำให้กับน้ำหนัก; prefix tuning และ prompt tuning เป็นสมาชิกอื่นๆ ในตระกูลเดียวกัน
ต้องใช้ข้อมูลเท่าใด?
วิธีการเหล่านี้ต้องการชุดข้อมูลสำหรับงานที่มีขนาดพอสมควร ต่ำกว่าประมาณ 500 ตัวอย่าง การปรับจูนอาจไม่เพียงพอและมีแนวโน้มที่จะเกิด overfit และต่ำกว่าประมาณ 50 ตัวอย่าง การปรับจูนแบบประหยัดพารามิเตอร์จะไม่มีความหมาย — โมเดลแบบดั้งเดิมเป็นตัวเลือกที่ดีกว่าในกรณีนั้น
จำเป็นต้องใช้ GPU หรือไม่?
แนะนำให้ใช้ GPU แม้ว่าวิธีการ PEFT จะใช้หน่วยความจำน้อยกว่าการปรับจูนแบบเต็มรูปแบบมาก แต่การฝึกฝนพารามิเตอร์เพิ่มเติมบนโมเดลขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้ายังคงได้รับประโยชน์อย่างมากจากการเร่งความเร็วด้วย GPU
เหตุใดการอัปเดตจึงมีอันดับต่ำ?
การเปลี่ยนแปลงที่จำเป็นในการปรับโมเดลที่ได้รับการฝึกฝนล่วงหน้าให้เข้ากับงานใหม่ โดยทั่วไปสามารถจับได้ด้วยการแก้ไขอันดับต่ำแบบหนาแน่น (dense low-rank correction) แทนที่จะเป็นการอัปเดตแบบหนาแน่นกับทุกน้ำหนัก การแสดงผลในรูปผลคูณของเมทริกซ์ขนาดเล็กสองตัวคือสิ่งที่ทำให้จำนวนพารามิเตอร์ที่ฝึกฝนได้ — และต้นทุน — ลดลงอย่างมาก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วLester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว