طبقهبندی متن — دستهبندی متن
- نوع
- Supervised NLP classification task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
طبقهبندی متن که دستهبندی متن نیز نامیده میشود، یک وظیفه نظارتشده پردازش زبان طبیعی است که به طور خودکار اسناد را به دستههای از پیش تعریفشده اختصاص میدهد. این روش با تکیه بر رویکرد ماشین بردار پشتیبان برای دستهبندی متن که توسط Joachims (1998) پایهگذاری شد و توسط Aggarwal و Zhai (2012) در ادبیات دادهکاوی متن تثبیت گردید، با یادگیری از مثالهای برچسبدار، وظایفی مانند تشخیص هرزنامه و طبقهبندی موضوع را توانمند میسازد.
شهود پشت روش
هنگامی که تعداد زیادی سند دارید که هر کدام به یکی از مجموعهای ثابت از دستهها تعلق دارند، مرتبسازی دستی آنها مقیاسپذیر نیست. طبقهبندی متن الگوهایی را که یک دسته را از دسته دیگر جدا میکنند، از مجموعهای از مثالهای از پیش برچسبدار یاد میگیرد، سپس این الگوها را برای برچسبگذاری خودکار اسناد جدید و دیدهنشده به کار میبرد — بسیار شبیه به آموزش یک مرتبساز با نشان دادن دستههای از پیش مرتبشده به آن و اجازه دادن به آن برای بایگانی بقیه.
تاریخ
طبقهبندی متن از طریق Joachims (1998) که نشان داد ماشینهای بردار پشتیبان با ویژگیهای مرتبط متعدد دستهبندی متن به خوبی کنار میآیند، به یک مسئله معیار یادگیری ماشین تبدیل شد. Aggarwal و Zhai (2012) بعداً این حوزه را در ادبیات گستردهتر دادهکاوی متن تثبیت کردند و این وظیفه همچنان یک بلوک ساختمانی اصلی پردازش زبان طبیعی کاربردی باقی مانده است.
چه زمانی استفاده شود
هنگامی که دادههای متنی را دارید که به دستههای از پیش تعریفشده مرتب شدهاند و مجموعهای آموزشی برچسبدار برای یادگیری دارید، از طبقهبندی متن استفاده کنید. این روش به حداقل حدود ۱۰۰ سند برچسبدار نیاز دارد و توزیع کلاس متعادل ترجیح داده میشود تا طبقهبند بتواند هر دسته را یاد بگیرد. با کمتر از حدود ۱۰۰ سند، طبقهبند تمایل به بیشبرازش (overfitting) دارد، بنابراین رویکرد طبقهبندی صفر-شات (zero-shot) ایمنتر است؛ در صورت عدم وجود دادههای متنی، این روش قابل اجرا نیست و طبقهبندی عمومی روی متغیرهای دستهای جایگزین است.
محدودیتها و ملاحظات
- به دادههای آموزشی برچسبدار نیاز دارد که تولید آنها میتواند پرهزینه باشد.
- توزیع کلاس متعادل ترجیح داده میشود؛ کلاسهای نامتعادل یادگیری برخی دستهها را دشوار میکنند.
- به یک مجموعه متنی نسبتاً بزرگ (حدود ۱۰۰ سند یا بیشتر) برای جلوگیری از بیشبرازش نیاز دارد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- برچسبگذاری خودکار مجموعههای بزرگ اسناد که مرتبسازی دستی آنها غیرعملی خواهد بود.
- از طریق همان خط لوله نظارتشده، با وظایف زیادی مانند تشخیص هرزنامه، طبقهبندی موضوع و مسائل مشابه دستهبندی سازگار میشود.
- الگوهای خاص دامنه را مستقیماً از مثالهای برچسبدار یاد میگیرد به جای اینکه به قوانین ثابت تکیه کند.
کاربردها
- تشخیص هرزنامه — جدا کردن پیامهای ناخواسته از پیامهای قانونی.
- طبقهبندی موضوع — مسیریابی اسناد یا مقالات به دستههای موضوعی.
- سازماندهی و اولویتبندی مجموعههای بزرگ اسناد بر اساس دسته.
- وظایف پیشبینی و طبقهبندی در حوزههای بهداشت، علوم اجتماعی، آموزش، مهندسی، علوم طبیعی و مجموعههای متنی کسبوکار.
چگونه کار میکند
چگونه کار میکند
از مجموعهای از اسناد شروع کنید که در آن هر مثال از قبل دارای یکی از برچسبهای دسته از پیش تعریفشده است. این دادههای آموزشی برچسبدار، اساس وظیفه نظارتشده است؛ هرچه توزیع کلاس متعادلتر باشد، طبقهبند هر دسته را قابل اطمینانتر یاد میگیرد.
متن خام پاکسازی و استاندارد میشود تا اسناد قابل مقایسه شوند: نویز حذف میشود و محتوا نرمالسازی و به واحدهای قابل تحلیل تقسیم میشود. نادیده گرفتن این مرحله باعث میشود توکنهای نویزی همه چیز را در پاییندست تخریب کنند.
متن پاکشده به ویژگیهای عددی تبدیل میشود که طبقهبند میتواند بخواند — برای مثال، نمایشهای فراوانی واژه که مشخص میکنند کدام کلمات دستهها را متمایز میکنند. این امر کلمات را به اعدادی تبدیل میکند که الگوریتم یادگیری بر روی آنها عمل میکند.
یک طبقهبند نظارتشده بر روی دادههای آموزشی برچسبدار و برداریشده برازش داده میشود، که ارتباط بین ویژگیهای متن و برچسبهای دسته را یاد میگیرد تا بتواند به هر سند جدید یک برچسب اختصاص دهد.
مدل آموزشدیده بر روی دادههای برچسبدار نگهداریشده ارزیابی میشود و طبقهبندیهای نادرست آن قبل از استقرار بازبینی میشوند. از آنجایی که کلاسهای نامتعادل، دقت خام را گمراهکننده میکنند، عملکرد بر اساس دستههایی که مدل قرار است جدا کند، قضاوت میشود.
دامهای رایج
- آموزش بر روی تعداد اسناد کم (کمتر از حدود ۱۰۰) باعث بیشبرازش بر روی مجموعه آموزشی کوچک میشود؛ در عوض رویکرد طبقهبندی صفر-شات ترجیح داده میشود.
- نادیده گرفتن پیشپردازش متن باعث میشود توکنهای نویزی ویژگیها و مدل را تخریب کنند.
- کلاسهای نامتعادل، دقت ساده را گمراهکننده میکنند؛ عملکرد را به ازای هر دسته بازبینی کنید به جای اینکه به یک رقم دقت واحد اعتماد کنید.
- اعمال روش زمانی که اصلاً داده متنی وجود ندارد — به روشهای طبقهبندی عمومی روی متغیرهای دستهای بازگردید.
پرسشهای متداول
چه مقدار داده برچسبدار نیاز دارم؟
حداقل حدود ۱۰۰ سند برچسبدار را برنامهریزی کنید. کمتر از آن، طبقهبند تمایل به بیشبرازش بر روی مجموعه آموزشی کوچک دارد، بنابراین رویکرد طبقهبندی صفر-شات انتخاب ایمنتری است.
آیا تعادل کلاس اهمیت دارد؟
بله. توزیع کلاس متعادل ترجیح داده میشود تا طبقهبند بتواند هر دسته را به طور قابل اعتماد یاد بگیرد. با کلاسهای نامتعادل، عملکرد را به ازای هر دسته قضاوت کنید به جای اینکه به دقت کلی تکیه کنید.
اگر داده متنی ندارم چه؟
طبقهبندی متن بدون متن قابل اجرا نیست. اگر متغیرهای شما به جای آن دستهای هستند، از روشهای طبقهبندی عمومی روی آن دادههای ساختاریافته استفاده کنید.
چگونه با خوشهبندی اسناد متفاوت است؟
طبقهبندی متن نظارتشده است: اسناد را به دستههای از پیش تعریفشده که از مثالهای برچسبدار یاد گرفته شدهاند، اختصاص میدهد. خوشهبندی اسناد نظارتنشده است و اسناد مشابه را بدون برچسبهای از پیش تعریفشده گروهبندی میکند.
روشهای مرتبط
منابع
Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.
باز کردن مرجع DOIکپی شد.Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
شابک: 978-1-4614-3222-7کپی شد.