شبکه عصبی بازگشتی دوطرفه (Bidirectional RNN)
- معرفیشده توسط
- Schuster, M. & Paliwal, K.K.
- سال
- 1997
- نوع
- Recurrent neural network (sequence model)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
شبکه عصبی بازگشتی دوطرفه، که در سال ۱۹۹۷ توسط شوستر و پالیوال معرفی شد، یک دنباله را در هر دو جهت پیشرو و پسرو پردازش میکند تا هر موقعیت به کل زمینه پیرامونی خود دسترسی داشته باشد. با سلولهای LSTM یا GRU (BiLSTM/BiGRU)، این روش استاندارد برای تشخیص موجودیت نامگذاری شده (named-entity recognition)، برچسبگذاری دنباله و تشخیص گفتار است.
شهود پشت روش
یک شبکه عصبی بازگشتی معمولی یک دنباله را از چپ به راست میخواند، بنابراین در هر نقطه فقط آنچه را که قبلاً آمده است میداند. اما معنای یک کلمه یا سیگنال اغلب به آنچه بعد از آن میآید نیز بستگی دارد. یک شبکه عصبی بازگشتی دوطرفه با اجرای دو مرحله - یکی پیشرو و یکی پسرو - و ترکیب آنها، این مشکل را حل میکند، بنابراین هر موقعیت از زمینه گذشته و آینده خود مطلع میشود.
تاریخ
شبکه عصبی بازگشتی دوطرفه توسط شوستر و پالیوال در سال ۱۹۹۷ معرفی شد تا به هر موقعیت دسترسی به زمینه گذشته و آینده داده شود. گریوز و اشمیدهوبر در سال ۲۰۰۵ با سلولهای LSTM ایده را برای طبقهبندی فریم به فریم فونیم گسترش دادند و LSTM دوطرفه را به عنوان یک ابزار کارآمد برای وظایف گفتار و برچسبگذاری دنباله تثبیت کردند. انواع BiLSTM و BiGRU قبل از ظهور معماریهای ترنسفورمر (Transformer) در پردازش زبان طبیعی استاندارد شدند.
چه زمانی استفاده شود
از آن برای برچسبگذاری دنباله، طبقهبندی متن یا پیشبینی روی دادههای دنبالهای یا طولی استفاده کنید - مانند NER، برچسبگذاری اجزای کلام (part-of-speech tagging)، یا تشخیص گفتار - زمانی که هم زمینه قبلی و هم زمینه بعدی اهمیت دارند و کل دنباله به طور همزمان در دسترس است. این مدل روی متن و دنبالههای پیوسته کار میکند و توزیع نرمال دادهها را فرض نمیکند، اما به مقدار معقولی داده نیاز دارد (حداقل حدود ۱۰۰ دنباله، و برای آموزش پایدار به مراتب بیشتر).
محدودیتها و ملاحظات
- به کل دنباله از قبل نیاز دارد، بنابراین برای تولید جریانی یا بلادرنگ که در آن ورودی آینده ناشناخته است، نامناسب است.
- در مجموعه دادههای کوچک (کمتر از حدود ۵۰۰ دنباله) بیشبرازش (overfitting) رخ میدهد و استخراج زمینه به طور قابل اعتماد امکانپذیر نیست.
- با نمونههای بسیار کوچک (کمتر از حدود ۱۰۰) آموزش BiLSTM/BiGRU معنیدار نیست.
- دو مرحله پردازش، محاسبات و حافظه یک شبکه عصبی بازگشتی یکجهته را تقریباً دو برابر میکند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- هر موقعیت هم زمینه گذشته و هم زمینه آینده را میبیند، که انتخاب استاندارد و قوی برای برچسبگذاری دنباله مانند NER است.
- مفروضات کم: نیازی به فرض نرمال بودن نیست، مستقیماً روی متن و دنبالههای پیوسته کار میکند.
- به طور طبیعی با سلولهای LSTM یا GRU جفت میشود تا وابستگیهای دوربرد را مدیریت کند.
- برای تشخیص گفتار و سایر وظایف طبقهبندی فریم به فریم (framewise classification) به خوبی تثبیت شده است.
کاربردها
- تشخیص موجودیت نامگذاری شده و برچسبگذاری دنباله.
- برچسبگذاری اجزای کلام و سایر حاشیهنویسیهای متنی در سطح توکن.
- تشخیص گفتار و فونیم.
- طبقهبندی متن و پیشبینی روی دادههای دنبالهای یا طولی.
چگونه کار میکند
چگونه کار میکند
یک لایه بازگشتی، دنباله را از ابتدا تا انتها میخواند و در هر موقعیت یک حالت پنهان (hidden state) ایجاد میکند که خلاصهای از همه چیزهایی است که تاکنون دیده شده است. این همان مرحله از چپ به راست است که یک شبکه عصبی بازگشتی، LSTM یا GRU استاندارد انجام میدهد.
فرمول
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})لایه بازگشتی دوم، همان دنباله را به صورت معکوس، از انتها به ابتدا میخواند و در هر موقعیت یک حالت پنهان تولید میکند که خلاصهای از زمینه آینده است. این همان چیزی است که به مدل دانش آنچه را که بعد از هر توکن میآید، میدهد.
فرمول
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})در هر موقعیت، حالتهای پنهان پیشرو و پسرو برای ایجاد یک نمایش واحد که زمینه کامل دوطرفه را در بر میگیرد، الحاق (concatenate) میشوند. این بردار ترکیبی سپس برای برچسبگذاری، طبقهبندی یا پیشبینی به لایه خروجی منتقل میشود.
فرمول
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]دامهای رایج
- اعمال آن بر روی وظایف بلادرنگ یا مولد که در آن بخش آینده دنباله هنوز در دسترس نیست.
- آموزش روی دادههای بسیار کم و اعتماد به نتیجه علیرغم بیشبرازش.
- نادیده گرفتن اینکه نمایش پنهان دوبرابر شده، هزینه محاسبات و حافظه را افزایش میدهد.
- عقبگرد به یک مدل دوطرفه سنگین زمانی که یک مجموعه درختی (tree ensemble) در نمونههای کوچک ایمنتر است.
پرسشهای متداول
شبکه عصبی بازگشتی دوطرفه چگونه با یک شبکه عصبی بازگشتی معمولی تفاوت دارد؟
یک شبکه عصبی بازگشتی معمولی یک دنباله را در یک جهت میخواند، بنابراین هر موقعیت فقط گذشته را میداند. یک شبکه عصبی بازگشتی دوطرفه یک مرحله دوم در جهت معکوس اضافه میکند و هر دو را ترکیب میکند، بنابراین هر موقعیت از زمینه آینده نیز مطلع میشود.
چه زمانی نمیتوانم از آن استفاده کنم؟
به کل دنباله به طور همزمان نیاز دارد، بنابراین برای تنظیمات بلادرنگ یا مولد که در آن توکنهای آینده هنوز شناخته نشدهاند، نامناسب است. در این موارد، یک مدل یکجهته مورد نیاز است.
به چه مقدار داده نیاز دارم؟
حداقل حدود ۱۰۰ دنباله به عنوان کف، اما آموزش تنها با مقدار به مراتب بیشتر قابل اعتماد است - کمتر از حدود ۵۰۰، مدل تمایل به بیشبرازش دارد و استخراج زمینه به طور قابل اعتماد امکانپذیر نیست. در نمونههای بسیار کوچک، یک مجموعه درختی مانند جنگل تصادفی (random forest) یا XGBoost ایمنتر است.
تفاوت بین BiLSTM و BiGRU چیست؟
هر دو شبکههای عصبی بازگشتی دوطرفه هستند؛ آنها در سلول بازگشتی تفاوت دارند. BiLSTM از سلولهای LSTM و BiGRU از سلولهای GRU استفاده میکند، که هر دو برای ثبت وابستگیهای دوربرد بهتر از یک شبکه عصبی بازگشتی ساده طراحی شدهاند.
روشهای مرتبط
منابع
Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.
باز کردن مرجع DOIکپی شد.Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.
باز کردن مرجع DOIکپی شد.