نرمالسازی متن — استانداردسازی متن نویزی
- نوع
- NLP preprocessing pipeline
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
نرمالسازی متن یک خط لوله پیشپردازش در پردازش زبان طبیعی (NLP) است که متن نویزی، خلاصهشده یا غلط املایی — مانند پیامهای SMS، پستهای رسانههای اجتماعی و خروجی OCR — را به شکلی پاک و استاندارد تبدیل میکند. این مرحله پیشنیاز تقریباً هر وظیفه NLP پاییندستی است و تضمین میکند که اشکال سطحی ناسازگار، توکنسازی، تجزیه یا طبقهبندی را مختل نکنند. این روش از طریق بالدوین و لی (2015) و اسپرود و جیتلی (2017) مورد بررسی آکادمیک نظاممند قرار گرفت.
شهود پشت روش
یک ماشین که بر روی متن روزنامه پاک آموزش دیده است، «gr8»، «u» یا «tmrw» را به عنوان کلمات «great»، «you» یا «tomorrow» تشخیص نمیدهد. قبل از اینکه هرگونه تحلیل عمیقتری بتواند انجام شود، متن نویزی خام باید به یک شکل سطحی سازگار تبدیل شود. نرمالسازی متن دقیقاً همین کار را انجام میدهد: نوع نویز موجود — اختصارات، خطاهای املایی، اصطلاحات عامیانه، ایموجی، کاراکترهای خاص — را شناسایی کرده و قوانین هدفمند یا مدلهای آموختهشده را برای تبدیل هر توکن غیر استاندارد به معادل متعارف آن اعمال میکند، به طوری که تمام ابزارهای بعدی یک واژگان یکنواخت و قابل پیشبینی را ببینند.
تاریخ
مطالعه نظاممند نرمالسازی متن برای محتوای تولید شده توسط کاربر با ظهور توییتر و SMS به عنوان پیکرههای تحقیقاتی در اواخر دهه ۲۰۰۰ آغاز شد. بالدوین و لی (2015) یکی از جامعترین تحلیلهای تجربی از تأثیر استراتژیهای نرمالسازی بر دقت NLP پاییندستی برای متن توییتر ارائه کردند و معیارهایی را establishe کردند که کارهای بعدی بر اساس آنها بنا شد. به موازات آن، اسپرود و جیتلی (2017) نرمالسازی متن را به عنوان یک مسئله یادگیری توالی به توالی چارچوببندی کردند و دادههای چالش را منتشر کردند که باعث پذیرش رویکردهای عصبی شد. کارهای قبلی نرمالسازی را به عنوان یک وظیفه تصحیح املا یا جستجوی واژگان در نظر گرفته بودند؛ چارچوببندی عصبی آن رشتهها را یکپارچه کرد و راه را برای خط لولههای یادگیری سرتاسری باز کرد.
چه زمانی استفاده شود
نرمالسازی متن باید هر زمان که متن منبع حاوی توکنهای غیر استاندارد باشد که یک خط لوله NLP پاییندستی آنها را اشتباه تفسیر کند، اعمال شود: دادههای رسانههای اجتماعی، پیکرههای SMS، اسناد تاریخی دیجیتالیشده با OCR و گزارشهای چت غیررسمی موارد معمول هستند. دو فرض باید برقرار باشد: نوع نویز باید از قبل قابل شناسایی باشد و یک واژگان زبان هدف یا مدل زبانی برای شکل استاندارد مورد نظر باید در دسترس باشد. اگر متن از قبل پاک و استاندارد است، نرمالسازی هیچ فایدهای ندارد و ممکن است با اصلاح بیش از حد انتخابهای سبکی عمدی، خطا ایجاد کند.
محدودیتها و ملاحظات
- نیاز به دانش قبلی از نوع نویز دارد: مجموعهای از قوانین یا مدلی که برای اختصارات SMS طراحی شده است ممکن است برای خطاهای OCR یا اصطلاحات عامیانه خاص دامنه عملکرد ضعیفی داشته باشد.
- یک واژگان زبان هدف یا مدل زبانی برای شکل استاندارد مورد نظر باید وجود داشته باشد؛ زبانهای با منابع کم ممکن است فاقد این منابع باشند.
- نرمالسازی بیش از حد میتواند تنوع معنادار را از بین ببرد — سبک غیررسمی عمدی، جابجایی کد (code-switching) یا نامهای خاص ممکن است به اشتباه بازنویسی شوند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- کیفیت NLP پاییندستی را در کل بهبود میبخشد — توکنسازی، برچسبگذاری اجزای کلام (POS tagging)، تشخیص موجودیت نامدار (NER) و تحلیل احساسات همگی از ورودی پاک و سازگار سود میبرند.
- پیادهسازی انعطافپذیر: جداول جستجوی ساده مبتنی بر قانون برای نویز قابل پیشبینی به خوبی کار میکنند، در حالی که مدلهای توالی به توالی عصبی اشکال جدید یا مبهم را مدیریت میکنند.
- به فرض توزیعی ویژهای در مورد دادهها نیاز ندارد، که آن را برای پیکرههای بسیار کوچک (حداقل حدود ۱۰ سند) قابل استفاده میکند.
کاربردها
- پیشپردازش پیکرههای رسانههای اجتماعی (توییتر، ردیت، اینستاگرام) قبل از تحلیل احساسات، مدلسازی موضوع، یا تشخیص رویداد.
- پاکسازی خروجی OCR از اسناد تاریخی دیجیتالیشده قبل از استخراج اطلاعات.
- استانداردسازی متن SMS و گزارشهای چت برای تحقیقات بالینی یا جامعهشناسی.
- تبدیل نظرات غیررسمی تولید شده توسط کاربر به متن پاک قبل از تغذیه آنها به یک طبقهبند یا خلاصهساز.
چگونه کار میکند
چگونه کار میکند
پروفایل نویز پیکره (corpus) قبل از هرگونه تلاش برای اصلاح، مشخص میشود. انواع رایج نویز شامل اختصارات غیررسمی (مانند «lol»، «brb»)، غلطهای املایی آوایی یا مبتنی بر تایپ، انقباضات، ایموجی، هشتگها، URLها و مصنوعات OCR است. شناسایی اینکه کدام انواع نویز وجود دارند، تعیین میکند که کدام قوانین یا مدلهای نرمالسازی در مراحل بعدی فعال خواهند شد.
متن با استفاده از یک توکنساز مناسب برای کانال منبع به توکنهای مجزا — کلمات، علائم نگارشی، ایموجی یا واحدهای دیگر — تقسیم میشود. به عنوان مثال، یک توکنساز توییت، هشتگها و منشنها را به عنوان واحدهای منفرد حفظ میکند، به جای اینکه بر اساس کاراکتر «@» یا «#» آنها را جدا کند. توکنسازی صحیح ضروری است زیرا نرمالسازی بعدی به صورت توکن به توکن عمل میکند.
هر توکن غیر استاندارد به شکل متعارف خود نگاشت میشود. رویکردهای مبتنی بر قانون از جداول جستجوی دستساز یا الگوهای عبارت منظم استفاده میکنند؛ رویکردهای آماری و عصبی (شامل مدلهای توالی به توالی مانند T5 یا BART) نگاشت را از دادههای آموزشی یاد میگیرند. انتخاب به نوع نویز، منابع موجود و اینکه آیا جفتهای نرمالسازی برچسبدار برای دامنه هدف وجود دارد یا خیر، بستگی دارد.
خروجی نرمالشده با یک واژگان زبان هدف مقایسه میشود یا بر روی یک وظیفه پاییندستی ارزیابی میشود تا تأثیر نرمالسازی اندازهگیری شود. اگر انواع خاصی از توکنها به طور سیستماتیک اشتباه اصلاح شوند، قوانین یا وزنهای مدل تنظیم میشوند. این حلقه بازخورد از نرمالسازی بیش از حد — تبدیل اصطلاحات عامیانه عمدی یا نامهای خاص به اشکال استاندارد نادرست — جلوگیری میکند.
دامهای رایج
- نادیده گرفتن شناسایی نوع نویز و اعمال یک نرمالساز عمومی: هر نوع نویز به درمان متفاوتی نیاز دارد، بنابراین یک مجموعه قوانین واحد به ندرت میتواند همه موارد را به درستی مدیریت کند.
- نرمالسازی موجودیتهای نامدار مانند نامهای تجاری، هشتگها یا نامهای کاربری: اینها معمولاً باید حفظ شوند یا به طور جداگانه مدیریت شوند، نه اینکه به اشکال واژگان استاندارد اجبار شوند.
- در نظر گرفتن نرمالسازی به عنوان مستقل از زبان: نگاشت از شکل غیر استاندارد به استاندارد، زبانخاص است و نرمالسازی که برای یک زبان ساخته شده است، متن را در زبان دیگر خراب میکند.
- ارزیابی فقط بر اساس دقت در سطح توکن بدون بررسی عملکرد وظیفه پاییندستی: یک نرمالساز میتواند در انزوا خوب به نظر برسد در حالی که در واقع معیار مهم را مختل میکند.
پرسشهای متداول
آیا نرمالسازی متن با غلطیاب املایی یکسان است؟
غلطیابی املایی یک زیرمجموعه است. نرمالسازی طیف وسیعتری از اشکال غیر استاندارد — اختصارات، اصطلاحات عامیانه، ایموجی، انقباضات و مصنوعات OCR — را پوشش میدهد که یک غلطیاب املایی متعارف برای مدیریت آنها طراحی نشده است. یک غلطیاب املایی «recieve» را اشتباه علامتگذاری میکند؛ یک نرمالساز همچنین «u» را به «you» و «gr8» را به «great» تبدیل میکند.
آیا باید قبل یا بعد از توکنسازی نرمالسازی کنم؟
این دو مرحله با هم تعامل دارند: یک توکنساز مناسب برای کانال باید ابتدا اجرا شود تا توکنهای چند کاراکتری مانند ایموجی، هشتگها یا URLها به عنوان واحد حفظ شوند قبل از اینکه نرمالسازی آنها را نگاشت کند. برخی خطوط لوله مراحل را در هم میآمیزند، اما عرف کلی این است که ابتدا با یک توکنساز مناسب برای کانال منبع توکنسازی کرده، سپس توکن به توکن نرمالسازی کنیم.
چگونه بین نرمالسازی مبتنی بر قانون و عصبی انتخاب کنم؟
روشهای مبتنی بر قانون سریع، شفاف و مؤثر هستند زمانی که نویز قابل پیشبینی است و میتوان یک جدول جستجو ساخت. مدلهای توالی به توالی عصبی بهتر به اشکال دیدهنشده تعمیم مییابند اما به جفتهای آموزشی برچسبدار و محاسبات بیشتری نیاز دارند. برای اکثر وظایف پیشپردازش رسانههای اجتماعی با بودجههای حاشیهنویسی محدود، یک رویکرد ترکیبی — قوانین برای الگوهای پرتکرار، یک مدل عصبی برای دم طولانی — بهترین کارایی را دارد.
آیا نرمالسازی متن به تشخیص موجودیت نامدار (NER) آسیب میزند؟
میتواند آسیب بزند، اگر موجودیتهای نامدار به اشتباه بازنویسی شوند. نرمالسازی که هشتگ «#AppleEvent» را به «apple event» تبدیل میکند، اطلاعات بزرگی حروف و مرزهایی را که یک مدل NER به آنها متکی است، از دست میدهد. بهترین روش این است که موجودیتهای نامدار را شناسایی و مستثنی کنید (یا ابتدا NER را اجرا کرده و آن بازهها را محافظت کنید) قبل از اعمال قوانین نرمالسازی عمومی.
روشهای مرتبط
منابع
Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.
باز کردن مرجع انتشارکپی شد.Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.
باز کردن مرجع انتشارکپی شد.