تنظیم دقیق GPT
- معرفیشده توسط
- Radford, A. et al. (OpenAI)
- سال
- 2019
- نوع
- Fine-tuning of pretrained autoregressive language models
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تنظیم دقیق GPT مدلهای زبان خودبازگشتی از پیش آموزشدیده مانند GPT-2/3/4 یا LLaMA — که در کار سال ۲۰۱۹ OpenAI توسط رادفورد و همکاران معرفی شد — را به دادههای خاص دامنه یا پیروی از دستورالعملها از طریق یادگیری تقویتی از بازخورد انسانی (RLHF) یا DPO تطبیق میدهد. این روش برای پیروی از دستورالعملها، انطباق دامنه و وظایف مولد استفاده میشود.
شهود پشت روش
یک مدل زبان بزرگ از قبل گرامر، حقایق و الگوهای استدلال را از یک مجموعه متنی عظیم آموخته است، بنابراین به ندرت نیاز به آموزش از ابتدا دارید. تنظیم دقیق آن مدل از پیش آموزشدیده را گرفته و با ادامه آموزش بر روی مجموعه بسیار کوچکتری از مثالهای جفتِ ورودی-خروجیِ خاصِ وظیفه، آن را به سمت وظیفه خود — واژگان دامنه شما، سبک پاسخ ترجیحی شما، دستورالعملهای شما — سوق میدهد.
تاریخ
تنظیم دقیق GPT بر مدلهای زبان خودبازگشتی که توسط رادفورد و همکاران در گزارش سال ۲۰۱۹ OpenAI توصیف شدهاند، بنا میشود، که نشان داد مدلهای زبان بزرگ به عنوان یادگیرندگان چندوظیفهای بدون نظارت عمل میکنند. سپس اوو یانگ و همکاران (۲۰۲۲) آموزش با بازخورد انسانی (RLHF) را معرفی کردند، که باعث شد مدلها دستورالعملها را بسیار قابل اعتمادتر دنبال کنند و پارادایم انطباق دستورالعمل مورد استفاده امروزی را شکل دادند.
چه زمانی استفاده شود
از تنظیم دقیق GPT برای طبقهبندی متن، پیشبینی یا تولید استفاده کنید زمانی که یک مدل از پیش آموزشدیده از خانواده GPT در دسترس دارید، دادههای شما در قالب جفتِ ورودی-خروجی آماده شده است و محاسبات کافی (GPU/TPU) در دسترس است. این روش فرض توزیع نرمال دادهها را ندارد. مجموعه داده بزرگتر قویاً ترجیح داده میشود: زیر حدود ۵۰۰ مثال، مدل تمایل به بیشبرازش (overfit) دارد و کیفیت مولد کاهش مییابد، و زیر حدود ۵۰ مثال، تنظیم دقیق نتایج معنیداری تولید نخواهد کرد — مدلهای سادهتر مانند جنگل تصادفی یا XGBoost در آنجا ایمنتر هستند.
محدودیتها و ملاحظات
- به یک مدل GPT از پیش آموزشدیده و معمولاً محاسبات GPU/TPU نیاز دارد.
- دادهها باید با دقت در قالب جفتِ ورودی-خروجی آماده شوند.
- در مجموعه دادههای کوچک (زیر حدود ۵۰۰ مثال) مدل بیشبرازش میکند و کیفیت مولد کاهش مییابد.
- با دادههای بسیار کم (زیر حدود ۵۰ مثال) تنظیم دقیق قادر به تولید خروجی معنیدار نیست.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- بر دانش گستردهای که در طول پیشآموزش در مقیاس بزرگ ثبت شده است، بنا میشود، بنابراین دادههای وظیفه بسیار کمتری نسبت به آموزش از ابتدا مورد نیاز است.
- طبقهبندی متن، پیشبینی و وظایف مولدِ باز را در یک چارچوب واحد مدیریت میکند.
- فرضهای کم: نیازی به دادههای با توزیع نرمال ندارد.
- همسوسازی RLHF یا DPO به مدل اجازه میدهد تا دستورالعملها را دنبال کند و با ترجیحات انسانی مطابقت داشته باشد.
کاربردها
- انطباق دامنه یک مدل زبان عمومی به متن تخصصی.
- پیروی از دستورالعملها و تولید به سبک دستیار.
- وظایف طبقهبندی متن و پیشبینی بر روی دادههای متنی.
- وظایف مولد که در آن خروجی متن روان و همسو با وظیفه مورد نیاز است.
چگونه کار میکند
چگونه کار میکند
شما با یک مدل از پیش آموزشدیده از خانواده GPT شروع میکنید که از قبل دانش زبانی گستردهای را حمل میکند. یک مجموعه داده تنظیم دقیق در قالب جفتِ ورودی-خروجی آماده میشود و بسته به وظیفه و سختافزار، ممکن است به GPU یا TPU نیاز باشد.
مدل به آموزش بر روی دادههای وظیفه ادامه میدهد و زیان مدلسازی زبان خودبازگشتی — منفی لگاریتم احتمال هر توکن بعدی با توجه به توکنهای قبل از آن — را به حداقل میرساند. این امر رفتار مدل را به سمت دامنه هدف تغییر میدهد و در عین حال شایستگی عمومی که در طول پیشآموزش آموخته است را حفظ میکند.
فرمول
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})برای پیروی از دستورالعملها، مدل با استفاده از یادگیری تقویتی از بازخورد انسانی (RLHF) یا بهینهسازی مستقیم ترجیحات (DPO) بیشتر با ترجیحات انسانی همسو میشود، بنابراین خروجیهای آن بهتر با دستورالعملها و انتظاراتی که افراد به آن میدهند مطابقت دارد.
دامهای رایج
- تنظیم دقیق بر روی مثالهای بسیار کم و اعتماد به خروجی بیشبرازش شده که به ظاهر روان است.
- نادیده گرفتن قالببندی دقیق جفتِ ورودی-خروجی دادههای آموزشی.
- فرض کردن اینکه همسوسازی RLHF/DPO در صورت هدف قرار دادن پیروی از دستورالعملها اختیاری است.
- استفاده از تنظیم دقیق GPT زمانی که جنگل تصادفی یا XGBoost بر روی یک مجموعه داده کوچک قابل اعتمادتر است.
پرسشهای متداول
چه مقدار داده برای تنظیم دقیق یک مدل GPT نیاز دارم؟
مقدار بیشتر قویاً ترجیح داده میشود. زیر حدود ۵۰۰ مثال، مدل تمایل به بیشبرازش دارد و کیفیت مولد کاهش مییابد؛ زیر حدود ۵۰ مثال، تنظیم دقیق نتایج معنیداری تولید نخواهد کرد و یک مدل سادهتر مانند جنگل تصادفی یا XGBoost ایمنتر است.
تفاوت بین تنظیم دقیق و RLHF/DPO چیست؟
تنظیم دقیق، آموزش را بر روی دادههای دامنه یا وظیفه برای به حداقل رساندن زیان مدلسازی زبان ادامه میدهد. RLHF و DPO مراحل همسوسازی هستند که مدل را بیشتر برای ترجیحات انسانی تنظیم میکنند تا دستورالعملها را دنبال کند و سبک پاسخ مورد انتظار را تولید کند.
آیا به GPU نیاز دارم؟
اغلب بله. تنظیم دقیق مدلهای خودبازگشتی بزرگ از نظر محاسباتی سنگین است و بسته به اندازه مدل و وظیفه ممکن است به GPU یا TPU نیاز باشد.
چگونه باید دادههایم را قالببندی کنم؟
آن را در قالب جفتِ ورودی-خروجی آماده کنید — هر مثال یک ورودی را با خروجی مطلوب مدل جفت میکند — قبل از تنظیم دقیق.
روشهای مرتبط
منابع
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
باز کردن مرجع انتشارکپی شد.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
باز کردن مرجع DOIکپی شد.