Skip to content
بازگشت به نتایج جست‌وجو

تحلیل فراوانی متن — شمارش کلمات و ان‌گرام‌ها

معرفی‌شده توسط
George K. Zipf (frequency-distribution foundation)
سال
1949
نوع
Descriptive text-mining analysis

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تحلیل فراوانی متن یک روش توصیفی داده‌کاوی متنی است که تعداد تکرار کلمات، ان‌گرام‌ها و عبارات را در یک پیکره متنی می‌شمارد تا الگوهای محتوا و مضامین غالب را آشکار کند. این روش بر اساس بینش توزیع فراوانی که توسط جورج کی. زیف (۱۹۴۹) صورت‌بندی شد، مبنی بر اینکه تعداد کمی از اصطلاحات بسیار پرتکرار هستند در حالی که اکثر آن‌ها نادرند، استوار است و یکی از پایه‌ای‌ترین و پرکاربردترین نقاط ورود به تحلیل کمی متن محسوب می‌شود.

شهود پشت روش

هنگامی که مجموعه‌ای از متن را می‌خوانید، کلماتی که بارها و بارها تکرار می‌شوند، نشان می‌دهند که متن درباره چیست. تحلیل فراوانی متن این شهود را صریح و قابل تکرار می‌سازد: به جای مرور سطحی، هر توکن، هر دنباله دو یا سه کلمه‌ای، و هر عبارت تکرارشونده را شمارش می‌کنید، سپس آن‌ها را بر اساس تعداد تکرارشان رتبه‌بندی می‌کنید. نتیجه یک جدول فراوانی است که واژگان و مضامین غالب یک پیکره را در یک نگاه، بدون هیچ‌گونه خوانش ذهنی، آشکار می‌سازد.

تاریخ

تحلیل فراوانی متن بر اساس مشاهده زیف (۱۹۴۹) در کتاب رفتار انسانی و اصل کمترین تلاش (Human Behavior and the Principle of Least Effort) بنا شده است که فراوانی کلمات از یک توزیع مشخصه پیروی می‌کنند که در آن تعداد کمی از کلمات بسیار پرتکرار هستند و اکثر آن‌ها نادرند. منینگ و شوتزه (۱۹۹۹) در کتاب مبانی پردازش زبان طبیعی آماری (Foundations of Statistical Natural Language Processing)، شمارش فراوانی را به عنوان یک ابزار بنیادی پردازش زبان طبیعی آماری معرفی کردند که روش‌های غنی‌تری مانند TF-IDF و مدل‌سازی موضوعی بر آن بنا شده‌اند.

چه زمانی استفاده شود

هنگامی که داده‌های متنی دارید و به دنبال یک نگاه توصیفی یا اکتشافی اولیه به واژگان غالب، ان‌گرام‌ها یا عبارات آن هستید، از تحلیل فراوانی متن استفاده کنید. این روش برای پیکره‌های مقطعی و طولی مناسب است و تنها به مقدار متوسطی از متن (حدود ۱۰ سند یا بیشتر) نیاز دارد. پیش‌پردازش مناسب — توکن‌بندی، حذف کلمات ایست، و ریشه‌یابی — باید ابتدا انجام شود، و باید در نظر داشته باشید که اندازه پیکره و تنوع زبانی بر قابلیت اطمینان فراوانی‌ها تأثیر می‌گذارند.

محدودیت‌ها و ملاحظات

  • اندازه پیکره و تنوع زبانی بر قابلیت اطمینان فراوانی‌ها تأثیر می‌گذارند.
  • شمارش‌های خام واژگان سطحی را ثبت می‌کنند اما زمینه، معنا یا احساسات را نه.
  • نتایج به شدت به انتخاب‌های پیش‌پردازش مانند لیست کلمات ایست و ریشه‌یابی بستگی دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • ساده، شفاف و قابل تفسیر — این اساسی‌ترین نقطه ورود به تحلیل کمی متن است.
  • الگوهای محتوا و مضامین غالب را مستقیماً از شمارش‌های خام آشکار می‌کند، بدون نیاز به داده‌های آموزشی برچسب‌دار.
  • هم بر روی کلمات، هم ان‌گرام‌ها و هم عبارات کار می‌کند، بنابراین با واحدهای مختلف معنا سازگار می‌شود.

کاربردها

  • شناسایی واژگان و مضامین غالب یک مجموعه اسناد.
  • کاوش الگوهای ان‌گرام و عبارت در پاسخ‌های نظرسنجی یا رونوشت مصاحبه‌ها.
  • پروفایل‌سازی محتوا در پیکره‌های اجتماعی، بهداشتی، آموزشی، مهندسی و تجاری.
  • به عنوان یک گام توصیفی اولیه قبل از روش‌های پیشرفته‌تر داده‌کاوی متنی عمل می‌کند.

چگونه کار می‌کند

چگونه کار می‌کند

1

متن خام قبل از شمارش هر چیزی آماده‌سازی می‌شود: به کلمات توکن‌بندی می‌شود، کلمات ایست (کلمات کاربردی پرتکرار مانند 'the' یا 'and') حذف می‌شوند، و توکن‌های باقی‌مانده برای رسیدن به شکل پایه مشترک، ریشه‌یابی (lemmatised) می‌شوند. پیش‌پردازش سازگار همان چیزی است که شمارش‌های نهایی را قابل مقایسه و معنادار می‌سازد، به جای اینکه تحت سلطه پرکننده‌های دستوری قرار گیرند.

2

هر واحد مورد علاقه در سراسر پیکره شمارش می‌شود. توکن‌های منفرد برای فراوانی کلمه شمارش می‌شوند، دنباله‌های توکن مجاور برای فراوانی ان‌گرام (دو‌گرام، سه‌گرام) شمارش می‌شوند، و عبارات چندکلمه‌ای تکرارشونده به عنوان عبارت شمارش می‌شوند. خروجی این مرحله، شمارش خام برای هر اصطلاح متمایز است.

3

اصطلاحات شمارش‌شده از بیشترین به کمترین فراوانی مرتب می‌شوند، که معمولاً به عنوان فهرستی از پرتکرارترین‌ها گزارش می‌شود. این نمای رتبه‌بندی شده جایی است که توزیع مشخصه ظاهر می‌شود — یک سر کوچک از اصطلاحات بسیار پرتکرار و یک دم بلند از اصطلاحات نادر، مطابق با قانون زیف.

4

فراوانی‌های رتبه‌بندی شده برای الگوهای محتوا و مضامین غالب خوانده می‌شوند. اندازه پیکره و تنوع زبانی آن بر میزان اطمینان شمارش‌ها تأثیر می‌گذارد، بنابراین تفسیر، مقیاس پیکره و دم بلند کلمات نادر را در نظر می‌گیرد، به جای اینکه بر روی یک شمارش منفرد بیش از حد تأکید شود.

دام‌های رایج

  • نادیده گرفتن پیش‌پردازش باعث می‌شود کلمات کاربردی پرتکرار و اشکال صرف‌شده یک کلمه بر جدول غلبه کرده و محتوای واقعی را پنهان کنند.
  • خواندن فراوانی‌ها از پیکره‌ای که خیلی کوچک یا خیلی محدود است، شمارش‌های ناپایداری ایجاد می‌کند که قابل تعمیم نیستند.
  • تفسیر بیش از حد دم بلند — اصطلاحات نادر (دم زیفی) سیگنال فراوانی کمی دارند و به راحتی با نویز یا معنا اشتباه گرفته می‌شوند.
  • مقایسه شمارش‌های خام در پیکره‌هایی با اندازه‌های مختلف بدون نرمال‌سازی منجر به نتایج گمراه‌کننده می‌شود.

پرسش‌های متداول

تحلیل فراوانی متن دقیقاً چه چیزی را می‌شمارد؟

این روش تعداد تکرار کلمات منفرد، دنباله‌های کلمات مجاور (ان‌گرام‌ها مانند دو‌گرام و سه‌گرام) و عبارات تکرارشونده را در سراسر یک پیکره می‌شمارد، سپس آن‌ها را رتبه‌بندی می‌کند. خروجی یک جدول فراوانی است که اصطلاحات و مضامین غالب را آشکار می‌سازد.

چرا باید ابتدا متن را پیش‌پردازش کنم؟

بدون توکن‌بندی، حذف کلمات ایست و ریشه‌یابی، کلمات کاربردی پرتکرار و اشکال صرف‌شده یک کلمه بر شمارش‌ها غلبه کرده و محتوای واقعی را پنهان می‌کنند. پیش‌پردازش سازگار، فراوانی‌ها را قابل مقایسه و معنادار نگه می‌دارد.

قانون زیف چیست و چرا در اینجا اهمیت دارد؟

قانون زیف الگوی معمول را توصیف می‌کند که در آن تعداد کمی از کلمات بسیار پرتکرار هستند در حالی که اکثر کلمات نادرند و یک دم بلند را تشکیل می‌دهند. این قانون شکل لیست فراوانی رتبه‌بندی شده را توضیح می‌دهد و در مورد تفسیر بیش از حد دم کلمات نادر هشدار می‌دهد.

به چه مقدار متن نیاز دارم؟

یک پیکره متوسط از حدود ده سند یا بیشتر قابل استفاده است، اما اندازه پیکره و تنوع زبانی بر میزان اطمینان فراوانی‌ها تأثیر می‌گذارند — پیکره‌های بزرگتر و نماینده‌تر، شمارش‌های پایدارتری ارائه می‌دهند.

روش‌های مرتبط

منابع

  1. Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.

    باز کردن مرجع انتشار
    کپی شد.
  2. Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    شابک: 9780262133609
    کپی شد.