TextCNN
- معرفیشده توسط
- Kim, Y.
- سال
- 2014
- نوع
- Convolutional neural network (deep learning)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
TextCNN یک شبکه عصبی کانولوشنی برای طبقهبندی متن است که در سال ۲۰۱۴ توسط یون کیم معرفی شد و از فیلترهای کانولوشنی موازی با اندازههای پنجره متفاوت بر روی جاسازی کلمات استفاده میکند تا الگوهای محلی n-gram را ثبت کند. این روش برای تحلیل احساسات و طبقهبندی موضوعی سریع و مؤثر است.
شهود پشت روش
بسیاری از سرنخهایی که تعیین میکنند یک جمله درباره چیست، عبارات کوتاهی هستند — دو، سه یا چهار کلمه مانند «خیلی خوب نیست» یا «به شدت توصیه میکنم». TextCNN فیلترهای کوچکی را بر روی دنبالهای از بردارهای کلمه میلغزاند، که هر فیلتر مانند یک آشکارساز برای نوع خاصی از عبارت کوتاه عمل میکند. با استفاده از چندین اندازه پنجره به صورت موازی، یاد میگیرد که گویاترین عبارات را بدون توجه به محل ظاهر شدنشان در متن تشخیص دهد، سپس از قویترین سیگنالها برای تعیین برچسب استفاده میکند.
تاریخ
TextCNN در سال ۲۰۱۴ توسط یون کیم (EMNLP) معرفی شد و نشان داد که یک CNN ساده که بر روی بردارهای کلمه از پیش آموزشدیده ساخته شده است، نتایج قوی در چندین معیار طبقهبندی جمله به دست میآورد. ژانگ و والاس (۲۰۱۵) با یک تحلیل حساسیت عملیاتی که بررسی کرد چگونه انتخابهای طراحی مانند اندازههای پنجره فیلتر و تعداد نقشههای ویژگی بر عملکرد تأثیر میگذارند، ادامه دادند و TextCNN را به یک خط پایه شناخته شده و پرکاربرد برای طبقهبندی متن تبدیل کردند.
چه زمانی استفاده شود
یک انتخاب مناسب برای طبقهبندی یا پیشبینی از متن برچسبدار — تحلیل احساسات یا طبقهبندی موضوعی — زمانی که یک مجموعه داده برچسبدار با اندازه نسبتاً مناسب (حداقل حدود ۲۰۰ سند و راحتتر ۵۰۰+) و جاسازیهای کلمه از پیش آموزشدیده مانند Word2Vec یا GloVe آماده استفاده دارید. این روش به دادههای با توزیع نرمال نیاز ندارد. در مجموعههای متنی بسیار کوچک (کمتر از حدود ۱۰۰ سند) یادگیری عمیق شکست میخورد و یک خط لوله کلاسیک TF-IDF به علاوه یادگیری ماشین کافی است؛ بین حدود ۱۰۰ تا ۵۰۰ سند، تقویت گرادیان انتخاب امنتری است زیرا TextCNN تمایل به بیشبرازش (overfitting) دارد.
محدودیتها و ملاحظات
- برای عملکرد خوب به مجموعه داده متنی برچسبدار و جاسازیهای کلمه از پیش آموزشدیده نیاز دارد.
- بر روی مجموعههای کوچک بیشبرازش میکند: کمتر از حدود ۵۰۰ سند، الگوهای n-gram به طور قابل اعتماد یاد گرفته نمیشوند.
- کمتر از حدود ۱۰۰ سند، یادگیری عمیق کاملاً شکست میخورد و مدلهای سادهتر ترجیح داده میشوند.
- فقط پنجرههای محلی را ثبت میکند، بنابراین وابستگیهای بسیار دوربرد در سراسر یک سند مدلسازی دشوارتر است.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- سریع برای آموزش و مؤثر برای تحلیل احساسات و طبقهبندی موضوعی.
- الگوهای محلی n-gram را از طریق فیلترهای موازی با چندین اندازه پنجره ثبت میکند.
- مستقل از موقعیت: استخردهی حداکثری عبارت کلیدی را در هر کجا که در متن ظاهر شود، انتخاب میکند.
- از جاسازیهای کلمه از پیش آموزشدیده برای کدگذاری معنا بدون مهندسی ویژگی دستی استفاده میکند.
کاربردها
- تحلیل احساسات بر روی نقدها، نظرات و پاسخهای نظرسنجی.
- طبقهبندی موضوعی اسناد و متون کوتاه.
- دستهبندی متن برچسبدار در حوزههای اجتماعی، بهداشتی، اقتصادی و تجاری.
- یک خط پایه سریع برای طبقهبندی در سطح جمله قبل از امتحان کردن مدلهای توالی سنگینتر.
چگونه کار میکند
چگونه کار میکند
هر کلمه در متن ورودی به یک جاسازی کلمه متراکم (مانند Word2Vec یا GloVe) نگاشت میشود و جمله را به یک ماتریس تبدیل میکند که در آن هر سطر یک بردار کلمه است. این نمایش، کلماتی با معنای مشابه را نزدیک به هم قرار میدهد و به لایه کانولوشن یک دید عددی معنادار از متن میدهد.
فیلترهای کانولوشنی موازی با اندازههای پنجره متفاوت (مثلاً پوشش ۳، ۴ و ۵ کلمه متوالی) بر روی ماتریس جاسازی میلغزند. هر فیلتر با ترکیب کلماتی که در حال حاضر پوشش میدهد، در هر موقعیت یک مقدار ویژگی تولید میکند، بنابراین الگوهای محلی n-gram را در هر کجا که در جمله رخ دهند، ثبت میکند.
فرمول
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)استخردهی حداکثری (Max-over-time pooling) فقط قویترین فعالسازی را از هر فیلتر حفظ میکند و گویاترین عبارت تشخیص داده شده توسط آن را خلاصه میکند. این ویژگیهای استخردهی شده به هم متصل شده و به یک لایه طبقهبندی نهایی که کلاس پیشبینی شده، مانند احساسات یا موضوع را خروجی میدهد، ارسال میشوند.
فرمول
\hat{c} = \max_i c_iدامهای رایج
- آموزش بر روی تعداد بسیار کمی سند برچسبدار و اعتماد به یک مدل بیشبرازش شده.
- نادیده گرفتن جاسازیهای از پیش آموزشدیده و یادگیری بردارها از ابتدا بر روی یک مجموعه کوچک.
- انتخاب اندازههای پنجره بدون بررسی حساسیت بر روی مجموعه اعتبارسنجی.
- استفاده از TextCNN زمانی که یک خط لوله TF-IDF به علاوه یادگیری ماشین کلاسیک برای دادههای کوچک کافی باشد.
پرسشهای متداول
چه مقدار متن برچسبدار نیاز دارم؟
TextCNN با چند صد سند برچسبدار یا بیشتر بهترین عملکرد را دارد. کمتر از حدود ۵۰۰ سند تمایل به بیشبرازش دارد و الگوهای n-gram به طور قابل اعتماد یاد گرفته نمیشوند، و کمتر از حدود ۱۰۰ سند یادگیری عمیق کاملاً شکست میخورد — یک خط لوله کلاسیک TF-IDF به علاوه یادگیری ماشین در آن زمان کافی است.
آیا به جاسازیهای کلمه از پیش آموزشدیده نیاز دارم؟
جاسازیهای از پیش آموزشدیده مانند Word2Vec یا GloVe فرض شده و به شدت توصیه میشوند. آنها معنای کلمه را که از مجموعههای بزرگ یاد گرفته شده است، کدگذاری میکنند، که به ویژه زمانی که مجموعه برچسبدار شما متوسط است، ارزشمند است.
اندازههای مختلف پنجره چه کاری انجام میدهند؟
هر اندازه پنجره به یک فیلتر اجازه میدهد تا طول متفاوتی از عبارت را ببیند — به عنوان مثال سه، چهار یا پنج کلمه متوالی. اجرای چندین اندازه به صورت موازی الگوهای n-gram با طولهای مختلف را ثبت میکند و تحلیل حساسیت میتواند به انتخاب آنها کمک کند.
چه زمانی باید روش دیگری را انتخاب کنم؟
در مجموعههای متنی بسیار کوچک (کمتر از حدود ۱۰۰ سند) از مدل یادگیری ماشین کلاسیک به علاوه TF-IDF استفاده کنید؛ بین حدود ۱۰۰ تا ۵۰۰ سند، تقویت گرادیان انتخاب امنتری است، زیرا TextCNN در زمانی که دادهها کمیاب هستند، بیشبرازش میکند.
روشهای مرتبط
منابع
Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.
باز کردن مرجع DOIکپی شد.Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.
باز کردن مرجع انتشارکپی شد.