لانگفارمر / بیگبرد
- معرفیشده توسط
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- سال
- 2020
- نوع
- Sparse-attention Transformer for long sequences
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
ترنسفورمرهای دنباله بلند مانند لانگفارمر (Beltagy, Peters & Cohan, 2020) و بیگبرد (Zaheer et al., 2020) توجه استاندارد O(n²) ترنسفورمر را با الگوهای توجه پراکنده که به صورت خطی، O(n)، با طول دنباله مقیاسپذیر هستند، جایگزین میکنند. این امر به یک مدل واحد اجازه میدهد تا هزاران توکن - اسناد کامل، متون حقوقی، یا توالیهای ژنومی - را که در یک ترنسفورمر معمولی جا نمیشوند، پردازش کند.
شهود پشت روش
یک ترنسفورمر استاندارد هر توکن را با هر توکن دیگر مقایسه میکند، بنابراین دو برابر کردن متن تقریباً کار را چهار برابر میکند - به همین دلیل است که بیشتر مدلها در حدود ۵۱۲ توکن محدود میشوند. ترنسفورمرهای دنباله بلند متوجه میشوند که بیشتر روابط مفید محلی هستند، بنابراین هر توکن عمدتاً همسایگان نزدیک خود را از طریق یک پنجره لغزان مشاهده میکند، در حالی که به تعداد کمی توکن تعیینشده اجازه داده میشود به همه چیز نگاه کنند. این امر باعث میشود هزینه به جای انفجار، با طول متن افزایش یابد، بنابراین اسناد بسیار طولانی قابل پردازش میشوند.
تاریخ
هر دو روش در سال ۲۰۲۰ به عنوان پاسخی به گلوگاه توجه درجه دوم که ترنسفورمرها را به ورودیهای کوتاه محدود میکرد، ظاهر شدند. لانگفارمر (Beltagy, Peters & Cohan) توجه پنجره لغزان به علاوه توجه سراسری را برای اسناد طولانی معرفی کرد، در حالی که بیگبرد (Zaheer et al., NeurIPS) توجه تصادفی را به الگوی پراکنده خود اضافه کرد و نتایج نظری در مورد قدرت بیان آن ارائه داد. در مجموع، آنها توجه پراکنده را به عنوان مسیر استاندارد برای پردازش دنبالههای طولانی تثبیت کردند.
چه زمانی استفاده شود
از ترنسفورمرهای دنباله بلند زمانی استفاده کنید که متن سند طولانی (معمولاً بیش از ۵۱۲ توکن) دارید و به طبقهبندی یا توضیح در مورد کل سند نیاز دارید - گزارشهای طولانی، متون حقوقی، یا توالیهای ژنومی. آنها فرض میکنند که ورودیهای واقعاً طولانی در دسترس هستند، استفاده از GPU به شدت توصیه میشود، و موقعیتهای توکن سراسری باید به طور منطقی انتخاب شوند. آنها به مقدار معقولی داده نیاز دارند: کمتر از حدود ۵۰۰ سند، مدل تمایل به بیشبرازش (overfit) دارد و کمتر از حدود ۱۰۰ سند، آموزش معنیدار نیست و یادگیری ماشین کلاسیک مانند Random Forest یا XGBoost ترجیح داده میشود.
محدودیتها و ملاحظات
- استفاده از GPU عملاً الزامی است؛ آموزش و استنتاج از نظر محاسباتی سنگین هستند.
- در مجموعه اسناد کوچک بیشبرازش (overfit) میشود - کمتر از حدود ۵۰۰ سند نتایج قابل اعتماد نیستند.
- کمتر از حدود ۱۰۰ سند آموزش بیمعنی است و باید از یادگیری ماشین کلاسیک استفاده شود.
- موقعیتهای توکن سراسری باید به درستی انتخاب شوند، در غیر این صورت جریان اطلاعات دوربرد مختل میشود.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- هزاران توکن - اسناد کامل - را پردازش میکند که از پنجره ترنسفورمر استاندارد فراتر میروند.
- مقیاسپذیری توجه خطی O(n) به جای هزینه درجه دوم O(n²) توجه متراکم.
- زمینه پنجره لغزان محلی را با توکنهای سراسری برای جریان اطلاعات دوربرد ترکیب میکند.
- برای طبقهبندی اسناد طولانی در حقوق، ژنومیک و متون طولانی مناسب است.
کاربردها
- طبقهبندی اسناد طولانی مانند گزارشها و مقالات.
- تحلیل متون حقوقی که از پنجرههای ترنسفورمر استاندارد فراتر میروند.
- مدلسازی توالیهای ژنومی طولانی.
- وظایف توضیح و طبقهبندی بر روی متن کامل به جای گزیدههای کوتاه شده.
چگونه کار میکند
چگونه کار میکند
حرکت اصلی، حذف توجه متراکم و جفت-همه ترنسفورمر استاندارد - که هزینه O(n²) در طول دنباله n دارد - و تقریب آن با یک الگوی پراکنده است که فقط O(n) هزینه دارد. از آنجایی که توجه گلوگاه است، این تغییر واحد، ورودیهای هزاران توکن را ممکن میسازد.
فرمول
O(n^2) \;\rightarrow\; O(n)
بیشتر توجه به یک پنجره لغزان در اطراف هر توکن محدود میشود، بنابراین یک توکن به جای کل دنباله، به تعداد ثابتی از توکنهای نزدیک توجه میکند. زمینه محلی - کلمات در دو طرف - بیشتر سیگنال را حمل میکند و محاسبه فقط این باند باعث میشود هزینه به صورت خطی با طول افزایش یابد.
مجموعه کوچکی از توکنهای سراسری تعیینشده مجاز هستند به کل دنباله توجه کنند و مورد توجه کل دنباله قرار گیرند، که مسیری را برای جریان اطلاعات دوربرد در سراسر سند فراهم میکند. انتخاب صحیح موقعیتهای این توکنهای سراسری (به عنوان مثال، یک توکن طبقهبندی یا توکنهای پرسوجو) مهم است، زیرا آنها پل ارتباطی بین بخشهای دوردست متن هستند.
علاوه بر انکودر توجه پراکنده، یک سر وظیفه نتیجه نهایی را تولید میکند - به عنوان مثال، طبقهبندی سطح سند یا پیشبینی توضیحی بر روی ورودی طولانی. نتیجه یک مدل است که میتواند اسناد کامل را پردازش کند که یک ترنسفورمر ۵۱۲ توکنی مجبور به کوتاه کردن آن بود.
دامهای رایج
- اعمال آن بر روی متون کوتاه که در ترنسفورمر استاندارد ۵۱۲ توکنی جا میشوند، با پرداخت هزینه اضافی بدون هیچ منفعتی.
- انتخاب بیدقت موقعیتهای توکن سراسری، مسیرهای اطلاعات دوربرد مدل را مختل میکند.
- آموزش بر روی مجموعه اسناد کوچک (n کمتر از چند صد) و اعتماد به نتیجه بیشبرازش (overfit).
- تلاش برای آموزش بدون GPU و تسلیم شدن در برابر عدم دستیابی به یک مدل قابل کار.
پرسشهای متداول
این با یک ترنسفورمر استاندارد مانند BERT چه تفاوتی دارد؟
یک ترنسفورمر استاندارد از توجه متراکم استفاده میکند، هر توکن را با هر توکن دیگر با هزینه O(n²) مقایسه میکند، که در عمل ورودیها را در حدود ۵۱۲ توکن محدود میکند. لانگفارمر و بیگبرد از توجه پراکنده استفاده میکنند - عمدتاً پنجرههای لغزان محلی به علاوه چند توکن سراسری - بنابراین هزینه به صورت خطی افزایش مییابد و ورودیهای چند هزار توکنی امکانپذیر میشوند.
چه زمانی باید لانگفارمر یا بیگبرد را به یادگیری ماشین کلاسیک ترجیح دهم؟
زمانی از آنها استفاده کنید که متن شما واقعاً طولانی است (بیش از ۵۱۲ توکن) و اسناد کافی دارید. با کمتر از حدود ۵۰۰ سند، مدل تمایل به بیشبرازش (overfit) دارد و کمتر از حدود ۱۰۰ سند، آموزش معنیدار نیست - روشهای کلاسیک مانند Random Forest یا XGBoost انتخاب امنتری هستند.
توکنهای سراسری چه هستند و چرا اهمیت دارند؟
توکنهای سراسری مجموعه کوچکی از موقعیتها هستند که مجازند به کل دنباله توجه کنند و مورد توجه کل دنباله قرار گیرند. آنها کانالی هستند که اطلاعات دوربرد از طریق آن در سراسر سند حرکت میکند، بنابراین انتخاب صحیح موقعیتهای آنها برای عملکرد مهم است.
آیا به سختافزار خاصی نیاز دارم؟
استفاده از GPU به شدت توصیه میشود. این مدلها همچنان دنبالههای طولانی را با شبکههای قابل توجه پردازش میکنند، بنابراین آموزش و استنتاج حتی با توجه با مقیاس خطی نیز از نظر محاسباتی سنگین هستند.
روشهای مرتبط
منابع
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
باز کردن مرجع انتشارکپی شد.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
باز کردن مرجع انتشارکپی شد.