لورا و PEFT
- معرفیشده توسط
- Hu, E. J. et al.; Lester, B. et al.
- سال
- 2022
- نوع
- Parameter-efficient fine-tuning of large pretrained models
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
لورا (تطبیق رتبه پایین)، که توسط هو و همکاران در سال ۲۰۲۲ معرفی شد، و خانواده گستردهتر روشهای تنظیم دقیق پارامتر-کارآمد (PEFT) مدلهای زبان از پیش آموزشدیده بزرگ را با آموزش تنها تعداد کمی پارامتر اضافی به جای هر وزن در مدل، تطبیق میدهند. این امر تنظیم دقیق را با حافظه و محاسبات بسیار کمتر GPU ممکن میسازد و در عین حال مدل اصلی را تا حد زیادی دستنخورده باقی میگذارد.
شهود پشت روش
تنظیم دقیق کامل یک مدل زبان بزرگ به معنای بهروزرسانی میلیاردها وزن است که از نظر حافظه و محاسبات پرهزینه است و یک کپی کامل از مدل را برای هر وظیفه تولید میکند. بینش کلیدی پشت لورا این است که تغییری که یک وظیفه نیاز دارد معمولاً رتبه پایین است: میتوان آن را با یک جفت ماتریس کوچک به جای یک بهروزرسانی متراکم به هر وزن ثبت کرد. روشهای PEFT با انجماد مدل اصلی و آموزش تنها مجموعه کوچکی از پارامترهای جدید از این امر بهره میبرند، بنابراین یک مدل پایه واحد میتواند به طور ارزان برای وظایف متعدد تخصصی شود.
تاریخ
لورا توسط هو و همکاران در سال ۲۰۲۲ معرفی شد و پیشنهاد داد که بهروزرسانی وزن مورد نیاز برای تطبیق یک مدل زبان بزرگ را میتوان به صورت تجزیه رتبه پایین که به جای تنظیم دقیق کامل آموزش داده میشود، نمایش داد. این بر ایدههای قبلی پارامتر-کارآمد، از جمله تنظیم اعلان لستر و همکاران (۲۰۲۱) بنا شد، که نشان داد تطبیق تنها مجموعه کوچکی از پارامترهای اعلان نرم با افزایش مقیاس مدل به طور فزایندهای رقابتی میشود. در مجموع این روشها تنظیم دقیق پارامتر-کارآمد را به عنوان روش استاندارد برای تخصصی کردن ارزان مدلهای از پیش آموزشدیده بزرگ تثبیت کردند.
چه زمانی استفاده شود
از لورا و PEFT زمانی استفاده کنید که میخواهید یک مدل زبان از پیش آموزشدیده بزرگ را برای یک وظیفه طبقهبندی یا پیشبینی متن خاص تطبیق دهید اما توانایی پرداخت هزینه حافظه و محاسبات تنظیم دقیق کامل را ندارید. یک مدل از پیش آموزشدیده بزرگ باید از قبل در دسترس باشد، دادههای خاص وظیفه باید آماده شوند و استفاده از GPU توصیه میشود. این روشها با مجموعه داده وظیفه قابل توجهی بهترین عملکرد را دارند؛ با مجموعه دادههای بسیار کوچک (کمتر از چند صد مثال) تطبیق تمایل به بیشبرازش دارد و یک مدل سادهتر مانند جنگل تصادفی یا تقویت گرادیان ایمنتر است.
محدودیتها و ملاحظات
- نیاز به یک مدل از پیش آموزشدیده بزرگ برای شروع دارد؛ مدل را از ابتدا آموزش نمیدهد.
- استفاده از GPU توصیه میشود و دادههای خاص وظیفه باید از قبل آماده شوند.
- در مجموعه دادههای وظیفه کوچک (کمتر از حدود ۵۰۰ مثال) تنظیم دقیق ممکن است تطبیق کافی را فراهم نکند و خطر بیشبرازش وجود دارد.
- با دادههای وظیفه بسیار کم (کمتر از حدود ۵۰ مثال) حتی تنظیم دقیق پارامتر-کارآمد بیمعنی میشود.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- حافظه و محاسبات GPU به طور چشمگیری کمتر از تنظیم دقیق کامل، از آنجایی که تنها مجموعه کوچکی از پارامترها آموزش داده میشوند.
- مدل از پیش آموزشدیده اصلی منجمد شده و در وظایف مختلف استفاده مجدد میشود، بنابراین یک مدل پایه واحد میتواند بارها تخصصی شود.
- بهروزرسانی رتبه پایین آموخته شده میتواند دوباره در وزنها ادغام شود و هیچ سربار زمان استنتاجی اضافه نمیکند.
- طیف وسیعی از گزینهها را پوشش میدهد - لورا، تنظیم پیشوند، تنظیم اعلان - بنابراین تطبیق را میتوان در جایی قرار داد که بهترین عملکرد را دارد.
کاربردها
- تطبیق یک مدل زبان از پیش آموزشدیده بزرگ با یک وظیفه طبقهبندی متن خاص دامنه.
- تخصصی کردن یک مدل پایه برای وظایف متعدد بدون ذخیره یک کپی کامل برای هر وظیفه.
- تنظیم دقیق در حافظه GPU محدود که در آن تنظیم دقیق کامل امکانپذیر نیست.
- وظایف پیشبینی متن که بر روی یک مدل زبان از پیش آموزشدیده موجود بنا میشوند.
چگونه کار میکند
چگونه کار میکند
یک مدل بزرگ که از قبل از پیش آموزش دیده است به عنوان یک نقطه شروع ثابت در نظر گرفته میشود. به جای تنظیم دقیق تمام وزنهای آن، پارامترهای اصلی منجمد میشوند و تنها مجموعه کوچکی از پارامترهای اضافی معرفی و برای وظیفه هدف آموزش داده میشوند. لورا، تنظیم پیشوند و تنظیم اعلان، روشهای اصلی در این خانواده هستند که هر کدام پارامترها را در مکان متفاوتی اضافه میکنند.
در لورا، بهروزرسانی یک ماتریس وزن منجمد به رتبه پایین محدود میشود: این به صورت حاصلضرب دو ماتریس کوچک نوشته میشود، بنابراین تنها آن ماتریسهای کوچک آموزش داده میشوند در حالی که وزنهای اصلی ثابت میمانند. از آنجایی که رتبه بسیار کوچکتر از ابعاد وزن است، تعداد پارامترهای قابل آموزش به شدت کاهش مییابد، که همین امر هزینه حافظه و محاسبات تنظیم دقیق را کاهش میدهد.
فرمول
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)تنها پارامترهای کوچک اضافه شده بر روی دادههای خاص وظیفه بهینه میشوند و از حافظه GPU بسیار کمتری نسبت به تنظیم دقیق کامل استفاده میکنند. مدل پایه بدون تغییر در وظایف مختلف استفاده مجدد میشود و بهروزرسانی رتبه پایین آموخته شده میتواند برای استنتاج دوباره در وزنها ادغام شود. استفاده از GPU توصیه میشود و مجموعه داده وظیفه با اندازه مناسب برای معنیدار بودن تطبیق لازم است.
دامهای رایج
- اعمال لورا/PEFT بر روی یک مجموعه داده کوچک و انتظار تطبیق قابل اعتماد به جای بازگشت به یک مدل کلاسیک.
- در نظر گرفتن تنظیم دقیق پارامتر-کارآمد به عنوان جایگزینی برای داشتن یک مدل پایه از پیش آموزشدیده مناسب.
- نادیده گرفتن خطر بیشبرازش در دادههای وظیفه کوچک به جای نظارت بر عملکرد اعتبارسنجی.
- فرض اینکه روش نیاز به GPU را از بین میبرد در حالی که یکی توصیه میشود.
پرسشهای متداول
تفاوت بین لورا و PEFT چیست؟
PEFT (تنظیم دقیق پارامتر-کارآمد) خانواده گستردهای از روشها است که یک مدل بزرگ را با آموزش تنها تعداد کمی پارامتر اضافی تطبیق میدهند. لورا یک روش خاص PEFT است که یک بهروزرسانی رتبه پایین به وزنها را آموزش میدهد؛ تنظیم پیشوند و تنظیم اعلان اعضای دیگر همین خانواده هستند.
چه مقدار داده نیاز دارم؟
این روشها به مجموعه داده وظیفه با اندازه مناسب نیاز دارند. کمتر از حدود ۵۰۰ مثال، تطبیق ممکن است ناکافی و مستعد بیشبرازش باشد، و کمتر از حدود ۵۰ مثال، تنظیم دقیق پارامتر-کارآمد بیمعنی میشود - در آنجا یک مدل کلاسیک انتخاب بهتری است.
آیا به GPU نیاز دارم؟
استفاده از GPU توصیه میشود. اگرچه روشهای PEFT حافظه بسیار کمتری نسبت به تنظیم دقیق کامل استفاده میکنند، آموزش پارامترهای اضافه شده بر روی یک مدل از پیش آموزشدیده بزرگ همچنان به طور قابل توجهی از شتابدهی GPU بهره میبرد.
چرا بهروزرسانی رتبه پایین است؟
تغییر مورد نیاز برای تطبیق یک مدل از پیش آموزشدیده با یک وظیفه جدید معمولاً میتواند با یک تصحیح رتبه پایین کوچک به جای یک بهروزرسانی متراکم به هر وزن ثبت شود. نمایش آن به صورت حاصلضرب دو ماتریس کوچک باعث میشود تعداد پارامترهای قابل آموزش - و هزینه - به شدت کاهش یابد.
روشهای مرتبط
منابع
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
باز کردن مرجع انتشارکپی شد.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
باز کردن مرجع DOIکپی شد.