ضبط نماذج GPT الدقيق
- قدّمه
- Radford, A. et al. (OpenAI)
- السنة
- 2019
- النوع
- Fine-tuning of pretrained autoregressive language models
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يضبط الضبط الدقيق لنماذج GPT نماذج اللغة التنبؤية التلقائية المدربة مسبقًا مثل GPT-2/3/4 أو LLaMA — التي قدمتها OpenAI في عملها عام 2019 بواسطة رادفورد وزملاؤه — على بيانات خاصة بالمجال أو على اتباع التعليمات عبر التعلم المعزز من التغذية الراجعة البشرية (RLHF) أو DPO. يُستخدم لاتباع التعليمات، والتكيف مع المجال، والمهام التوليدية.
الفكرة الحدسية وراء الطريقة
لقد تعلم نموذج اللغة الكبير بالفعل قواعد اللغة والحقائق وأنماط الاستدلال من مجموعة نصوص ضخمة، لذلك نادرًا ما تحتاج إلى التدريب من الصفر. يأخذ الضبط الدقيق هذا النموذج المدرب مسبقًا ويوجهه نحو مهمتك الخاصة — مفردات مجالك، أسلوب إجابتك المفضل، تعليماتك — عن طريق مواصلة التدريب على مجموعة أصغر بكثير ومخصصة للمهمة من أمثلة المطالبة والإكمال.
التاريخ
يبني الضبط الدقيق لنماذج GPT على نماذج اللغة التنبؤية التلقائية التي وصفها رادفورد وزملاؤه في تقرير OpenAI لعام 2019، والذي أظهر أن نماذج اللغة الكبيرة تتصرف كمتعلمين متعدد المهام غير خاضعين للإشراف. ثم قدم أويانغ وزملاؤه (2022) التدريب بالتغذية الراجعة البشرية (RLHF)، مما جعل النماذج تتبع التعليمات بشكل أكثر موثوقية وشكل نموذج التكيف مع التعليمات المستخدم اليوم.
متى تُستخدم
استخدم الضبط الدقيق لنماذج GPT لتصنيف النصوص أو التنبؤ بها أو توليدها عندما يكون لديك نموذج مدرب مسبقًا من عائلة GPT متاحًا، وتم إعداد بياناتك بتنسيق المطالبة والإكمال، ولديك قدرة حوسبة كافية (GPU/TPU) في متناول اليد. لا يفترض بيانات موزعة طبيعيًا. يُفضل بشدة وجود مجموعة بيانات أكبر: أقل من حوالي 500 مثال يميل النموذج إلى الإفراط في التكيف وتنخفض جودة التوليد، وأقل من حوالي 50 مثالًا لن ينتج الضبط الدقيق نتائج ذات مغزى — نماذج أبسط مثل الغابة العشوائية أو XGBoost أكثر أمانًا هناك.
الحدود والاعتبارات
- يحتاج إلى نموذج GPT مدرب مسبقًا وعادةً ما يحتاج إلى قدرة حوسبة GPU/TPU.
- يجب إعداد البيانات بعناية بتنسيق المطالبة والإكمال.
- على مجموعات البيانات الصغيرة (أقل من حوالي 500 مثال) يفرط النموذج في التكيف وتتدهور جودة التوليد.
- مع القليل جدًا من البيانات (أقل من حوالي 50 مثالًا) يفشل الضبط الدقيق في إنتاج مخرجات ذات مغزى.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يبني على المعرفة الواسعة التي تم التقاطها بالفعل أثناء التدريب المسبق على نطاق واسع، لذلك هناك حاجة إلى بيانات مهمة أقل بكثير من التدريب من الصفر.
- يتعامل مع تصنيف النصوص والتنبؤ بها والمهام التوليدية المفتوحة ضمن إطار واحد.
- افتراضات خفيفة: لا يتطلب بيانات موزعة طبيعيًا.
- محاذاة RLHF أو DPO تسمح للنموذج باتباع التعليمات ومطابقة التفضيلات البشرية.
التطبيقات
- التكيف مع المجال لنموذج لغوي عام للنصوص المتخصصة.
- اتباع التعليمات والتوليد بأسلوب المساعد.
- مهام تصنيف النصوص والتنبؤ بها على البيانات النصية.
- المهام التوليدية التي تتطلب مخرجات نصية سلسة ومتوافقة مع المهمة.
كيف يعمل
كيف يعمل
تبدأ بنموذج مدرب مسبقًا من عائلة GPT يحمل بالفعل معرفة لغوية واسعة. يتم إعداد مجموعة بيانات الضبط الدقيق بتنسيق المطالبة والإكمال، واعتمادًا على المهمة والأجهزة، قد تكون هناك حاجة إلى وحدة معالجة الرسومات (GPU) أو وحدة معالجة الموتر (TPU).
يواصل النموذج التدريب على بيانات المهمة، مما يقلل من خسارة نمذجة اللغة التنبؤية التلقائية — السجل السالب لاحتمالية كل رمز تالٍ بالنظر إلى الرموز التي تسبقه. هذا يحول سلوك النموذج نحو المجال المستهدف مع الحفاظ على الكفاءة العامة التي تعلمها أثناء التدريب المسبق.
الصيغة
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})لأجل اتباع التعليمات، تتم محاذاة النموذج بشكل أكبر مع التفضيلات البشرية باستخدام التعلم المعزز من التغذية الراجعة البشرية (RLHF) أو التحسين المباشر للتفضيل (DPO)، بحيث تتطابق مخرجاته بشكل أفضل مع التعليمات والتوقعات التي يقدمها الأشخاص له.
الأخطاء الشائعة
- الضبط الدقيق على عدد قليل جدًا من الأمثلة والثقة في المخرجات التي تبدو سلسة ولكنها مفرطة في التكيف.
- تجاوز التنسيق النظيف للمطالبة والإكمال لبيانات التدريب.
- افتراض أن محاذاة RLHF/DPO اختيارية عندما يكون اتباع التعليمات هو الهدف.
- اللجوء إلى الضبط الدقيق لنماذج GPT عندما تكون الغابة العشوائية أو XGBoost أكثر موثوقية على مجموعة بيانات صغيرة.
الأسئلة الشائعة
ما مقدار البيانات التي أحتاجها لضبط نموذج GPT بدقة؟
يُفضل المزيد بشدة. أقل من حوالي 500 مثال يميل النموذج إلى الإفراط في التكيف وتنخفض جودة التوليد؛ أقل من حوالي 50 مثالًا لن ينتج الضبط الدقيق نتائج ذات مغزى، ونموذج أبسط مثل الغابة العشوائية أو XGBoost أكثر أمانًا.
ما الفرق بين الضبط الدقيق و RLHF/DPO؟
يواصل الضبط الدقيق التدريب على بيانات المجال أو المهمة لتقليل خسارة نمذجة اللغة. RLHF و DPO هما خطوتان للمحاذاة تضبطان النموذج بشكل أكبر مع التفضيلات البشرية حتى يتبع التعليمات وينتج النمط المتوقع للإجابة.
هل أحتاج إلى GPU؟
غالبًا نعم. ضبط نماذج التنبؤ التلقائي الكبيرة بدقة يتطلب قدرة حوسبة عالية وقد تكون هناك حاجة إلى GPU أو TPU اعتمادًا على حجم النموذج والمهمة.
كيف يجب أن أقوم بتنسيق بياناتي؟
قم بإعدادها بتنسيق المطالبة والإكمال — كل مثال يقترن بمطالبة إدخال مع الإخراج المطلوب للنموذج — قبل الضبط الدقيق.
طرق ذات صلة
المصادر
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
افتح مرجع المنشورتم النسخ.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
افتح مرجع DOIتم النسخ.