خوشهبندی اسناد
- نوع
- Unsupervised text-mining task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
خوشهبندی اسناد یک وظیفه یادگیری بدون نظارت در حوزه استخراج متن است که اسناد با محتوای مشابه را بدون استفاده از هیچ برچسبی در کنار هم گروهبندی میکند. این روش برای سازماندهی مجموعههای بزرگ و تحلیل اکتشافی، با بهرهگیری از تکنیکهای استخراج متن که توسط Aggarwal و Zhai (2012) تدوین شده و به صورت تجربی توسط Steinbach، Karypis و Kumar (2000) مقایسه شده است، به کار میرود.
شهود پشت روش
هنگامی که با انبوهی از اسناد روبرو هستید و هیچکس آنها را برچسبگذاری نکرده است، همچنان میخواهید بدانید کدام اسناد به هم تعلق دارند. خوشهبندی اسناد دقیقاً همین کار را انجام میدهد: شباهت اسناد را بر اساس واژگان آنها اندازهگیری میکند و اسناد مشابه را در یک گروه قرار میدهد، بنابراین ساختار در مجموعه به جای تحمیل شدن توسط دستهبندیهای از پیش تعریف شده، خود به خود پدیدار میشود.
تاریخ
خوشهبندی اسناد در حوزه گستردهتر استخراج متن که در کتاب "Mining Text Data" (2012) اثر Aggarwal و Zhai بررسی شده است، قرار میگیرد. کارهای پایهای مقایسهای توسط Steinbach، Karypis و Kumar (2000) نحوه عملکرد تکنیکهای مختلف خوشهبندی اسناد را بررسی کرد و به تعیین اینکه کدام خانواده از روشها برای مجموعههای متنی مناسب هستند، کمک کرد.
چه زمانی استفاده شود
هنگامی که مجموعهای از اسناد متنی بدون برچسب دارید و میخواهید آن را سازماندهی کنید یا ساختار آن را کاوش کنید، از خوشهبندی اسناد استفاده کنید. متن ابتدا باید برداریسازی شود و شما باید در مورد تعداد خوشهها یا آستانه فاصله تصمیم بگیرید. این روش به یک پیکره (corpus) معقول نیاز دارد — حداقل حدود 30 سند، و بالای حدود 100 سند قابل اعتماد میشود؛ با اسناد کمتر، تحلیل موضوعی دستی انتخاب ایمنتری است. اگر اصلاً داده متنی وجود نداشته باشد، خوشهبندی اسناد قابل اعمال نیست.
محدودیتها و ملاحظات
- نتایج در پیکرههای کوچک غیرقابل اعتماد هستند؛ زیر حدود 100 سند، خوشهها قابل اعتماد نیستند.
- نیاز دارد که متن ابتدا برداریسازی شود و تعداد خوشهها یا آستانه فاصله از قبل تعیین شود.
- هنگامی که هیچ داده متنی وجود ندارد، اصلاً قابل اعمال نیست.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- بدون نظارت — نیازی به دادههای برچسبگذاری شده ندارد، بنابراین بر روی مجموعههای خام که هیچکس آنها را حاشیهنویسی نکرده است، کار میکند.
- ساختار پنهان در یک پیکره را آشکار میکند و آن را برای سازماندهی مجموعهها و تحلیل اکتشافی مناسب میسازد.
- به مجموعههای بزرگ اسناد که مرتبسازی دستی آنها غیرعملی است، مقیاسپذیر است.
کاربردها
- سازماندهی مجموعههای بزرگ اسناد به گروههای منسجم برای ناوبری آسانتر.
- تحلیل اکتشافی یک پیکره بدون برچسب برای کشف موضوعات موجود.
- گروهبندی گزارشها، مقالات یا سوابق مشابه در عملیات و تحقیقات قبل از تحلیل عمیقتر.
- پیشساختاردهی یک مجموعه قبل از برچسبگذاری یا طبقهبندی پاییندستی.
چگونه کار میکند
چگونه کار میکند
هر سند ابتدا از طریق برداریسازی متن به یک نمایش عددی تبدیل میشود — به عنوان مثال یک بردار TF-IDF — تا واژگان چیزی شوند که یک معیار فاصله بتواند آنها را مقایسه کند. بدون این مرحله، چیزی برای الگوریتم خوشهبندی وجود ندارد که بر روی آن عمل کند.
قبل از گروهبندی، تحلیلگر تعیین میکند که خوشهها چگونه تشکیل خواهند شد: یا تعداد هدف خوشهها یا یک آستانه فاصله که تصمیم میگیرد چه زمانی اسناد به اندازه کافی نزدیک هستند تا یک گروه را به اشتراک بگذارند. این انتخاب شکل میدهد که چه تعداد گروه پدیدار میشود و چقدر فشرده هستند.
یک الگوریتم خوشهبندی هر سند را به یک گروه اختصاص میدهد به طوری که اسناد درون یک گروه بیشتر از اسناد گروههای دیگر به یکدیگر شبیهتر هستند. هیچ برچسبی این را هدایت نمیکند — گروهبندی کاملاً توسط شباهت در فضای برداری هدایت میشود.
گروههای حاصل بازرسی و مشخص میشوند: تحلیلگر اسناد نماینده و اصطلاحات پرتکرار در هر خوشه را میخواند تا بفهمد چه موضوعی را در بر میگیرد، مجموعه را سازماندهی میکند یا یافتهها را به تحلیل اکتشافی وارد میکند.
دامهای رایج
- اجرای آن بر روی تعداد اسناد بسیار کم (کمتر از حدود 100) خوشههای ناپایدار و غیرقابل اعتماد ایجاد میکند — در عوض به تحلیل موضوعی دستی رجوع کنید.
- انتخاب تعداد خوشهها یا آستانه فاصله با بیدقتی، ساختاری دلخواه را بر دادهها تحمیل میکند؛ پیکربندی باید مورد بحث قرار گیرد، نه حدس زده شود.
- نادیده گرفتن یا برداریسازی ضعیف، سیگنال ضعیفی را به الگوریتم میرساند، بنابراین گروهها به جای محتوا، نویز را منعکس میکنند.
- اعمال آن در جایی که داده متنی واقعی وجود ندارد — تحلیل محتوای عمومی جایگزین مناسبی است.
پرسشهای متداول
تفاوت خوشهبندی اسناد با طبقهبندی متن چیست؟
طبقهبندی نظارت شده است — اسناد را به دستههای از پیش تعریف شده که از نمونههای برچسبگذاری شده آموخته شدهاند، اختصاص میدهد. خوشهبندی بدون نظارت است: هیچ برچسب و هیچ دسته از پیش تعریف شدهای وجود ندارد. گروهها صرفاً از نحوه شباهت اسناد به یکدیگر پدیدار میشوند.
به چند سند نیاز دارم؟
حداقل کاری حدود 30 سند است، اما خوشهبندی تنها بالای حدود 100 سند قابل اعتماد میشود. با کمتر از حدود 100 سند، خوشهها ناپایدار هستند و تحلیل موضوعی دستی انتخاب ایمنتری است.
آیا باید تعداد خوشهها را از قبل تعیین کنم؟
شما باید یا تعداد هدف خوشهها یا یک آستانه فاصله را تعیین کنید که تصمیم میگیرد چه زمانی اسناد به اندازه کافی نزدیک هستند تا یک گروه را به اشتراک بگذارند. یکی از این انتخابهای پیکربندی قبل از اجرای مرحله گروهبندی الزامی است.
اگر اسناد من هنوز در فرم عددی نباشند چه؟
آنها باید ابتدا برداریسازی شوند — به عنوان مثال به بردارهای TF-IDF — تا یک معیار فاصله بتواند آنها را مقایسه کند. برداریسازی اولین مرحله از خط لوله است؛ الگوریتم خوشهبندی بر روی آن بردارها عمل میکند، نه بر روی متن خام.
روشهای مرتبط
منابع
Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
شابک: 9781461432227کپی شد.Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.
باز کردن مرجع انتشارکپی شد.