Skip to content
بازگشت به نتایج جست‌وجو

TF-IDF — فراوانی عبارت — فراوانی معکوس سند

معرفی‌شده توسط
Salton & Buckley
سال
1988
نوع
Text vectorization / term-weighting scheme

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

TF-IDF که توسط سالتون و باکلی (۱۹۸۸) معرفی شد، یک طرح وزن‌دهی عبارت است که هر کلمه را در یک سند با توجه به تعداد دفعات تکرار آن در آنجا و میزان کمیابی آن در کل مجموعه، امتیازدهی می‌کند. این روش متن خام را به بردارهای سند وزن‌دار تبدیل می‌کند و به عباراتی که در یک سند پرتکرار اما در جاهای دیگر نادر هستند، وزن بالایی می‌دهد.

شهود پشت روش

هر کلمه‌ای که زیاد ظاهر می‌شود، آموزنده نیست — کلماتی مانند «و» در همه‌جا ظاهر می‌شوند و اطلاعات کمی درباره محتوای یک سند به شما می‌دهند. TF-IDF این ایده را در بر می‌گیرد که یک عبارت زمانی بیشترین اهمیت را دارد که در یک سند خاص پرتکرار اما در سایر مجموعه نادر باشد. با ضرب کردن تعداد دفعات تکرار یک عبارت به صورت محلی در میزان تمایز آن به صورت جهانی، این طرح کلماتی را برجسته می‌کند که واقعاً هر سند را مشخص می‌کنند و موارد رایج را کم‌اهمیت جلوه می‌دهد.

تاریخ

TF-IDF از کارهای بازیابی اطلاعات سالتون و باکلی (۱۹۸۸) نشأت گرفت، که رویکردهای وزن‌دهی عبارت را برای بازیابی خودکار متن به طور سیستماتیک مقایسه کردند و ترکیب فراوانی عبارت با فراوانی معکوس سند را به عنوان یک طرح نمایش سند مؤثر تثبیت کردند. این روش به یک خط پایه اساسی برای برداری‌سازی متن تبدیل شد و همچنان به طور گسترده به عنوان یک نمایش ویژگی شفاف مورد استفاده قرار می‌گیرد.

چه زمانی استفاده شود

هنگامی که یک مجموعه متنی دارید و نیاز دارید اسناد را برای بازیابی، طبقه‌بندی یا مقایسه شباهت به ویژگی‌های عددی تبدیل کنید، از TF-IDF استفاده کنید. این روش بر فرض کیسه کلمات استوار است و نیاز به پیش‌پردازش متن از قبل دارد. مجموعه باید نسبتاً بزرگ باشد — با کمتر از حدود ۱۰۰ سند، وزن‌های IDF ناپایدار می‌شوند و یک تحلیل ساده فراوانی کلمات قابل اطمینان‌تر است. بدون هیچ داده متنی، TF-IDF قابل محاسبه نیست.

محدودیت‌ها و ملاحظات

  • بر فرض کیسه کلمات استوار است و ترتیب کلمات و زمینه را نادیده می‌گیرد.
  • وزن‌های IDF در مجموعه‌های بسیار کوچک ناپایدار و بی‌معنی می‌شوند.
  • نیاز به پیش‌پردازش دقیق متن دارد؛ توکن‌های نویزدار وزن‌ها را تخریب می‌کنند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • ساده، سریع و قابل تفسیر — هر وزن مستقیماً به فراوانی محلی و کمیابی جهانی قابل ردیابی است.
  • متن خام را به بردارهای سند عددی تبدیل می‌کند که توسط روش‌های جستجو، طبقه‌بندی و خوشه‌بندی قابل استفاده هستند.
  • کلمات همه‌جا حاضر و غیرمفید را کم‌اهمیت جلوه می‌دهد در حالی که عباراتی را که یک سند را متمایز می‌کنند، برجسته می‌کند.

کاربردها

  • نمایش اسناد به عنوان بردارهای ویژگی برای طبقه‌بندی متن.
  • رتبه‌بندی و بازیابی اسناد در برنامه‌های جستجو.
  • شناسایی متمایزترین کلمات کلیدی که یک سند را مشخص می‌کنند.
  • ساخت ورودی برای خوشه‌بندی اسناد و مقایسه شباهت.

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه متنی پاکسازی و به عبارت‌ها توکن‌بندی می‌شود — متن نرمال‌سازی شده و به واحدهای کلمه‌ای که وزن‌دهی می‌شوند، تقسیم می‌شود. از آنجایی که TF-IDF بر فرض کیسه کلمات استوار است، پیش‌پردازش سازگار در تمام اسناد باعث می‌شود شمارش‌های حاصل قابل مقایسه باشند.

2

برای هر سند، فراوانی عبارت (TF) تعداد دفعات تکرار هر عبارت را در آن سند می‌شمارد. عبارتی که چندین بار در یک سند واحد ظاهر می‌شود، وزن محلی بالاتری دریافت می‌کند که نشان‌دهنده میزان مرکزی بودن آن در محتوای آن سند است.

3

در کل مجموعه، فراوانی معکوس سند (IDF) میزان کمیابی هر عبارت را اندازه‌گیری می‌کند — عباراتی که در بسیاری از اسناد ظاهر می‌شوند، IDF پایینی دریافت می‌کنند، در حالی که عباراتی که به تعداد کمی از اسناد محدود می‌شوند، IDF بالایی دریافت می‌کنند. این همان چیزی است که کلمات همه‌جا حاضر و غیرمفید را سرکوب کرده و موارد متمایز را پاداش می‌دهد.

4

اجزای TF و IDF در یک وزن واحد برای هر عبارت ترکیب می‌شوند و هر سند به یک بردار از این امتیازات وزن‌دار تبدیل می‌شود. بردارهای سند-عبارت حاصل، نمایش‌هایی هستند که وظایف پایین‌دستی — جستجو، طبقه‌بندی، خوشه‌بندی — از آن‌ها استفاده می‌کنند.

دام‌های رایج

  • اجرای TF-IDF بر روی مجموعه‌ای کمتر از حدود ۱۰۰ سند — وزن‌های IDF بی‌معنی می‌شوند، بنابراین به جای آن به تحلیل ساده فراوانی کلمات روی بیاورید.
  • نادیده گرفتن یا پیش‌پردازش ناسازگار در سراسر اسناد، که باعث می‌شود شمارش عبارات قابل مقایسه نباشند.
  • تلاش برای اعمال TF-IDF در زمانی که هیچ داده متنی وجود ندارد — کدگذاری طبقه‌بندی با تحلیل محتوا مسیر مناسبی است.
  • انتظار اینکه TF-IDF معنا یا زمینه را درک کند: این روش عبارات مجزا را وزن‌دهی می‌کند و نمی‌تواند ترتیب کلمات یا معناشناسی را مدل کند.

پرسش‌های متداول

TF و IDF هر کدام چه چیزی را اندازه‌گیری می‌کنند؟

فراوانی عبارت (TF) تعداد دفعات تکرار یک عبارت را در یک سند واحد اندازه‌گیری می‌کند و میزان مرکزی بودن آن را به صورت محلی ثبت می‌کند. فراوانی معکوس سند (IDF) میزان کمیابی عبارت را در کل مجموعه اندازه‌گیری می‌کند و کلماتی را که در بسیاری از اسناد ظاهر می‌شوند، کم‌اهمیت جلوه می‌دهد. ضرب کردن آن‌ها به عباراتی که در یک سند پرتکرار اما در جاهای دیگر نادر هستند، وزن بالایی می‌دهد.

مجموعه من چقدر باید بزرگ باشد؟

TF-IDF به یک مجموعه نسبتاً بزرگ نیاز دارد — تقریباً ۱۰۰ سند یا بیشتر. در زیر این مقدار، وزن‌های IDF ناپایدار شده و معنای خود را از دست می‌دهند، و تحلیل ساده‌تر فراوانی کلمات انتخاب قابل اطمینان‌تری است.

آیا TF-IDF معنا یا زمینه را درک می‌کند؟

خیر. TF-IDF بر فرض کیسه کلمات استوار است: این روش عبارات منفرد را بر اساس فراوانی و کمیابی وزن‌دهی می‌کند و ترتیب کلمات، نحو و معناشناسی را نادیده می‌گیرد. برای زمینه یا شباهت معنایی، روش‌های تعبیه مانند Word2Vec مناسب‌تر هستند.

چه پیش‌پردازشی لازم دارد؟

مجموعه باید قبل از وزن‌دهی به طور سازگار پاکسازی و توکن‌بندی شود — متن نرمال‌سازی شده و به واحدهای عبارت قابل مقایسه تقسیم شود. نادیده گرفتن این مرحله توکن‌های نویزدار باقی می‌گذارد که وزن‌ها را تخریب می‌کنند.

روش‌های مرتبط

منابع

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    باز کردن مرجع DOI
    کپی شد.