LoRA و PEFT
- قدّمه
- Hu, E. J. et al.; Lester, B. et al.
- السنة
- 2022
- النوع
- Parameter-efficient fine-tuning of large pretrained models
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تُكيّف LoRA (تكييف الرتبة المنخفضة) - التي قدمها Hu وآخرون في عام 2022 - وعائلة طرق الضبط الفعال للمعاملات (PEFT) الأوسع نماذج اللغة الكبيرة المدربة مسبقًا لمهام جديدة عن طريق تدريب عدد صغير فقط من المعاملات الإضافية بدلاً من كل وزن في النموذج. هذا يجعل الضبط الدقيق ممكنًا باستخدام ذاكرة GPU وحوسبة أقل بكثير مع ترك النموذج الأصلي دون تغيير إلى حد كبير.
الفكرة الحدسية وراء الطريقة
يتضمن الضبط الدقيق الكامل لنموذج لغوي كبير تحديث مليارات الأوزان، وهو أمر مكلف من حيث الذاكرة والحوسبة وينتج نسخة كاملة من النموذج لكل مهمة. الفكرة الرئيسية وراء LoRA هي أن التغيير الذي تتطلبه المهمة عادة ما يكون ذا رتبة منخفضة: يمكن التقاطه بواسطة زوج صغير من المصفوفات بدلاً من تحديث كثيف لكل وزن. تستغل طرق PEFT هذا عن طريق تجميد النموذج الأصلي وتدريب مجموعة صغيرة فقط من المعاملات الجديدة، بحيث يمكن تخصيص نموذج أساسي واحد بشكل فعال للعديد من المهام بتكلفة زهيدة.
التاريخ
تم تقديم LoRA بواسطة Hu وآخرون في عام 2022، واقترحوا أن تحديث الوزن المطلوب لتكييف نموذج لغوي كبير يمكن تمثيله بتحليل رتبة منخفضة يتم تدريبه بدلاً من الضبط الدقيق الكامل. لقد بنى على أفكار سابقة للضبط الفعال للمعاملات، بما في ذلك ضبط الموجه (prompt tuning) بواسطة Lester وآخرون (2021)، والذي أظهر أن تكييف مجموعة صغيرة فقط من معاملات الموجه الناعمة (soft-prompt) يصبح تنافسيًا بشكل متزايد مع نمو حجم النموذج. معًا، أسست هذه الطرق الضبط الفعال للمعاملات كطريقة قياسية لتخصيص النماذج الكبيرة المدربة مسبقًا بتكلفة زهيدة.
متى تُستخدم
استخدم LoRA و PEFT عندما تريد تكييف نموذج لغوي كبير مدرب مسبقًا لمهمة تصنيف نصي أو تنبؤ نصي محددة ولكن لا يمكنك تحمل تكلفة الذاكرة والحوسبة للضبط الدقيق الكامل. يجب أن يكون هناك نموذج كبير مدرب مسبقًا متاحًا، ويجب إعداد بيانات خاصة بالمهمة، ويُوصى باستخدام GPU. تعمل هذه الطرق بشكل أفضل مع مجموعة بيانات مهمة كبيرة؛ مع مجموعات البيانات الصغيرة جدًا (أقل من بضع مئات من الأمثلة) يميل التكييف إلى الإفراط في التجهيز (overfitting) ويكون نموذج أبسط مثل الغابة العشوائية (random forest) أو تعزيز التدرج (gradient boosting) أكثر أمانًا.
الحدود والاعتبارات
- تتطلب نموذجًا كبيرًا مدربًا مسبقًا للبدء به؛ لا تقوم بتدريب نموذج من الصفر.
- يُوصى باستخدام GPU، ويجب إعداد بيانات خاصة بالمهمة مسبقًا.
- على مجموعات بيانات المهام الصغيرة (أقل من حوالي 500 مثال) قد لا يوفر الضبط الدقيق تكيفًا كافيًا وينطوي على خطر الإفراط في التجهيز.
- مع القليل جدًا من بيانات المهمة (أقل من حوالي 50 مثالًا) يصبح الضبط الفعال للمعاملات غير ذي معنى.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- ذاكرة GPU وحوسبة أقل بكثير من الضبط الدقيق الكامل، نظرًا لأنه يتم تدريب مجموعة صغيرة فقط من المعاملات.
- يتم تجميد النموذج الأصلي المدرب مسبقًا وإعادة استخدامه عبر المهام، بحيث يمكن تخصيص نموذج أساسي واحد عدة مرات.
- يمكن دمج تحديث الرتبة المنخفضة المتعلم مرة أخرى في الأوزان، مما لا يضيف أي عبء إضافي وقت الاستدلال.
- تغطي عائلة من الخيارات - LoRA، وضبط البادئة، وضبط الموجه - بحيث يمكن وضع التكييف في المكان الذي يعمل فيه بشكل أفضل.
التطبيقات
- تكييف نموذج لغوي كبير مدرب مسبقًا لمهمة تصنيف نصي خاصة بالمجال.
- تخصيص نموذج أساسي واحد للعديد من المهام دون تخزين نسخة كاملة لكل مهمة.
- الضبط الدقيق في ظل ذاكرة GPU محدودة حيث يكون الضبط الدقيق الكامل غير ممكن.
- مهام التنبؤ النصي التي تبني على نموذج لغوي مدرب مسبقًا موجود.
كيف يعمل
كيف يعمل
يُؤخذ نموذج كبير تم تدريبه مسبقًا كنقطة انطلاق ثابتة. بدلاً من الضبط الدقيق لجميع أوزانه، يتم تجميد المعاملات الأصلية ويتم تقديم وتدريب مجموعة صغيرة فقط من المعاملات الإضافية للمهمة المستهدفة. LoRA، وضبط البادئة (prefix tuning)، وضبط الموجه (prompt tuning) هي الطرق الرئيسية في هذه العائلة، وكل منها يضيف معاملات في مكان مختلف.
في LoRA، يُقيد تحديث مصفوفة الوزن المجمدة بأن تكون ذات رتبة منخفضة: تُكتب كناتج لمصفوفتين صغيرتين، لذا يتم تدريب هاتين المصفوفتين الصغيرتين فقط بينما تظل الأوزان الأصلية ثابتة. نظرًا لأن الرتبة أصغر بكثير من أبعاد الوزن، فإن عدد المعاملات القابلة للتدريب ينخفض بشكل كبير، وهذا ما يقلل من تكلفة الذاكرة والحوسبة للضبط الدقيق.
الصيغة
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)يتم تحسين المعاملات الإضافية الصغيرة فقط على البيانات الخاصة بالمهمة، باستخدام ذاكرة GPU أقل بكثير من الضبط الدقيق الكامل. يُعاد استخدام النموذج الأساسي دون تغيير عبر المهام، ويمكن دمج تحديث الرتبة المنخفضة المتعلم مرة أخرى في الأوزان للاستدلال. يُوصى باستخدام GPU، وهناك حاجة إلى مجموعة بيانات مهمة ذات حجم معقول ليكون التكييف ذا مغزى.
الأخطاء الشائعة
- تطبيق LoRA/PEFT على مجموعة بيانات صغيرة وتوقع تكيف موثوق به بدلاً من العودة إلى نموذج كلاسيكي.
- معاملة الضبط الفعال للمعاملات كبديل لامتلاك نموذج أساسي مدرب مسبقًا مناسب.
- تجاهل خطر الإفراط في التجهيز على بيانات المهام الصغيرة بدلاً من مراقبة أداء التحقق.
- افتراض أن الطريقة تزيل الحاجة إلى GPU عندما يُوصى بها.
الأسئلة الشائعة
ما الفرق بين LoRA و PEFT؟
PEFT (الضبط الفعال للمعاملات) هي العائلة الواسعة من الطرق التي تكيف نموذجًا كبيرًا عن طريق تدريب عدد صغير فقط من المعاملات الإضافية. LoRA هي طريقة PEFT محددة تدرب تحديثًا ذا رتبة منخفضة للأوزان؛ وضبط البادئة وضبط الموجه هما عضوان آخران في نفس العائلة.
ما مقدار البيانات التي أحتاجها؟
تحتاج هذه الطرق إلى مجموعة بيانات مهمة ذات حجم معقول. أقل من حوالي 500 مثال قد يكون التكييف غير كافٍ وعرضة للإفراط في التجهيز، وأقل من حوالي 50 مثالًا يصبح الضبط الفعال للمعاملات غير ذي معنى - النموذج الكلاسيكي هو الخيار الأفضل هناك.
هل أحتاج إلى GPU؟
يُوصى باستخدام GPU. على الرغم من أن طرق PEFT تستخدم ذاكرة أقل بكثير من الضبط الدقيق الكامل، فإن تدريب المعاملات المضافة على نموذج كبير مدرب مسبقًا لا يزال يستفيد بشكل كبير من تسريع GPU.
لماذا التحديث ذو رتبة منخفضة؟
يمكن عادةً التقاط التغيير المطلوب لتكييف نموذج مدرب مسبقًا لمهمة جديدة بتصحيح صغير ذي رتبة منخفضة بدلاً من تحديث كثيف لكل وزن. تمثيله كناتج لمصفوفتين صغيرتين هو ما يجعل عدد المعاملات القابلة للتدريب - والتكلفة - ينخفض بشكل كبير.
طرق ذات صلة
المصادر
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
افتح مرجع المنشورتم النسخ.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
افتح مرجع DOIتم النسخ.