Skip to content
بازگشت به نتایج جست‌وجو

تحلیل هم‌نشینی — تداعی واژگان

معرفی‌شده توسط
Church & Hanks
سال
1990
نوع
Statistical text-mining technique

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تحلیل هم‌نشینی یک تکنیک آماری در داده‌کاوی متنی است که جفت واژگان یا عباراتی را که به‌طور مکرر با هم رخ می‌دهند، با استفاده از معیارهای تداعی به جای هم‌رخدادی تصادفی شناسایی می‌کند. این روش که در کارهای لغت‌نامه‌نگاری Church و Hanks (1990) معرفی شد، برای استخراج اصطلاحات و تحلیل زبان به کار می‌رود و واحدهای چندواژگانی را که در یک پیکره معنا حمل می‌کنند، آشکار می‌سازد.

شهود پشت روش

برخی واژگان صرفاً با هم می‌آیند — «چای قوی» طبیعی به نظر می‌رسد در حالی که «چای قدرتمند» این‌طور نیست، حتی اگر معنا مشابه باشد. تحلیل هم‌نشینی فراتر از فراوانی خام می‌رود و می‌پرسد کدام جفت واژگان با هم بسیار بیشتر از آنچه تصادف پیش‌بینی می‌کند، ظاهر می‌شوند. با امتیازدهی آماری هم‌رخدادی، عبارات معنادار و اصطلاحات ثابت پنهان در متن را به جای صرفاً فهرست کردن کلمات رایج، بیرون می‌کشد.

تاریخ

تحلیل هم‌نشینی به عنوان یک تکنیک آماری توسط Church و Hanks (1990) پایه‌گذاری شد، که هنجارهای تداعی واژگان و اطلاعات متقابل را برای لغت‌نامه‌نگاری معرفی کردند و نشان دادند که چگونه آمارهای هم‌رخدادی می‌توانند جفت واژگان معنادار را آشکار سازند. این رویکرد توسط Manning و Schütze (1999) در حوزه گسترده‌تر پردازش آماری زبان طبیعی تثبیت شد.

چه زمانی استفاده شود

تحلیل هم‌نشینی زمانی مناسب است که شما یک پیکره متنی با اندازه نسبتاً مناسب (حدود 50 سند یا بیشتر) داشته باشید و بخواهید واحدهای چندواژگانی معنادار را به جای فراوانی تک‌واژگان پیدا کنید. این روش برای کارهای اکتشافی و توصیفی در استخراج اصطلاحات و تحلیل زبان‌شناختی مناسب است. این روش فرض می‌کند که متن به اندازه کافی برای آمارهای پایدار هم‌رخدادی وجود دارد و کلمات ایست قبلاً پاک‌سازی شده‌اند؛ با متن بسیار کم، امتیازات تداعی غیرقابل اعتماد می‌شوند.

محدودیت‌ها و ملاحظات

  • نیاز به یک پیکره به اندازه کافی بزرگ دارد تا آمارهای هم‌رخدادی پایدار باشند.
  • نتایج به شدت به پیش‌پردازش بستگی دارد — باقی‌مانده کلمات ایست، تداعی‌ها را تحریف می‌کنند.
  • معیارهایی مانند PMI می‌توانند جفت واژگان نادر را که چند بار هم‌رخداد می‌شوند، بیش از حد پاداش دهند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • عبارات چندواژگانی معنادار و اصطلاحات ثابت را آشکار می‌سازد که شمارش فراوانی تک‌واژگان آن‌ها را از قلم می‌اندازد.
  • معیارهای تداعی آماری، تداعی‌های واقعی واژگان را از مجاورت تصادفی جدا می‌کنند.
  • از نظر مفهومی ساده و برای استخراج اصطلاحات و تحلیل زبان قابل اجرا است.

کاربردها

  • استخراج اصطلاحات — شناسایی اصطلاحات چندواژگانی خاص دامنه در یک پیکره.
  • لغت‌نامه‌نگاری و ساخت واژه‌نامه، آشکارسازی تداعی‌های واژگانی مشخصه.
  • تحلیل زبان‌شناختی و گفتمانی نحوه ترکیب واژگان در یک متن.
  • آماده‌سازی عبارات کاندید برای وظایف پایین‌دستی داده‌کاوی متنی و استخراج اطلاعات.

چگونه کار می‌کند

چگونه کار می‌کند

1

پیکره توکن‌بندی و پاک‌سازی می‌شود، و کلمات ایست (stop-words) حذف می‌گردند تا کلمات با فراوانی بالا، تداعی‌های معنادار را تحت‌الشعاع قرار ندهند. پیش‌پردازش سازگار، شمارش‌های هم‌رخدادی را قابل مقایسه نگه می‌دارد و هم‌نشینی‌های حاصل را قابل تفسیر می‌سازد.

2

جفت واژگان کاندید (معمولاً bigrams) تشکیل شده و شمارش هم‌رخدادی آن‌ها در سراسر پیکره، همراه با فراوانی‌های منفرد هر واژه، جمع‌آوری می‌شود. این شمارش‌ها مواد خامی هستند که هر معیار تداعی بر اساس آن‌ها ساخته می‌شود.

3

هر جفت کاندید با یک معیار تداعی آماری — مانند اطلاعات متقابل نقطه‌ای (PMI) — امتیازدهی می‌شود که مقایسه می‌کند واژگان چقدر با هم ظاهر می‌شوند در مقابل چقدر انتظار می‌رود که به‌طور تصادفی هم‌رخداد شوند. امتیاز بالا نشان‌دهنده یک تداعی واقعی است نه یک مجاورت اتفاقی.

4

هم‌نشینی‌های کاندید بر اساس امتیازات تداعی‌شان رتبه‌بندی می‌شوند و قوی‌ترین جفت‌ها انتخاب می‌گردند (به عنوان مثال، N مورد برتر بر اساس PMI). نتیجه یک لیست رتبه‌بندی شده از جفت واژگان معنادار و عبارات چندواژگانی برای استخراج اصطلاحات یا تحلیل زبان است.

دام‌های رایج

  • نادیده گرفتن حذف کلمات ایست، اجازه می‌دهد کلمات کاربردی با فراوانی بالا غالب شده و هم‌نشینی‌های واقعی را دفن کنند.
  • اجرای تحلیل بر روی متن بسیار کم، امتیازات تداعی ناپایدار و غیرقابل اعتماد تولید می‌کند.
  • PMI امتیازات جفت‌های بسیار نادر را افزایش می‌دهد، بنابراین قبل از رتبه‌بندی، حداقل شمارش هم‌رخدادی را اعمال کنید.
  • در نظر گرفتن یک جفت با فراوانی بالا به عنوان هم‌نشینی بدون آزمون تداعی، رایج بودن را با تداعی معنادار اشتباه می‌گیرد.

پرسش‌های متداول

هم‌نشینی دقیقاً چیست؟

هم‌نشینی جفت یا دنباله‌ای از واژگان است که بیشتر از آنچه تصادف پیش‌بینی می‌کند، هم‌رخداد می‌شوند — یک تداعی رایج واژگان مانند «چای قوی» یا «تصمیم گرفتن». تحلیل هم‌نشینی این‌ها را با امتیازدهی آماری هم‌رخدادی به جای خواندن آن‌ها از لیست فراوانی پیدا می‌کند.

تحلیل هم‌نشینی چه تفاوتی با تحلیل فراوانی دارد؟

تحلیل فراوانی تعداد دفعات ظاهر شدن واژگان یا n-gramها را می‌شمارد. تحلیل هم‌نشینی فراتر می‌رود: با استفاده از یک معیار تداعی، می‌پرسد آیا دو واژه بیشتر از حد انتظار به‌طور تصادفی با هم ظاهر می‌شوند، بنابراین جفت‌های معنادار را به جای صرفاً جفت‌های رایج آشکار می‌سازد.

PMI چیست و چرا استفاده می‌شود؟

اطلاعات متقابل نقطه‌ای (PMI) مقایسه می‌کند که دو واژه چقدر با هم رخ می‌دهند در مقابل چقدر انتظار می‌رود که به‌طور مستقل هم‌رخداد شوند. PMI بالا نشان‌دهنده یک تداعی قوی است. از آنجایی که PMI می‌تواند جفت‌های نادر را بیش از حد پاداش دهد، معمولاً قبل از رتبه‌بندی، حداقل شمارش هم‌رخدادی اعمال می‌شود.

چه مقدار متن نیاز دارم؟

این تکنیک انتظار دارد یک پیکره با اندازه نسبتاً مناسب — در حد 50 سند یا بیشتر — داشته باشید تا شمارش‌های هم‌رخدادی پایدار باشند. با متن بسیار کم، امتیازات تداعی نوسان می‌کنند و هم‌نشینی‌های استخراج شده غیرقابل اعتماد می‌شوند.

روش‌های مرتبط

منابع

  1. Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.

    باز کردن مرجع انتشار
    کپی شد.
  2. Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    شابک: 9780262133609
    کپی شد.