Skip to content
بازگشت به نتایج جست‌وجو

بی‌یز ساده (Naive Bayes)

معرفی‌شده توسط
Mitchell, T. M. (textbook treatment)
سال
1997
نوع
Probabilistic classifier (Bayes' theorem with conditional independence)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

بی‌یز ساده یک طبقه‌بندی‌کننده احتمالی سریع است که قضیه بیز را با این فرض به کار می‌برد که ویژگی‌ها به شرط کلاس، مستقل شرطی هستند — روشی که در کتاب درسی یادگیری ماشین تام میچل در سال ۱۹۹۷، به صورت استاندارد در یادگیری ماشین مورد بررسی قرار گرفته است. با وجود این فرض ساده‌کننده ('ساده‌لوحانه')، آموزش آن سریع است و اغلب دقت شگفت‌انگیزی دارد.

شهود پشت روش

بی‌یز ساده به جای یادگیری تعاملات پیچیده بین ویژگی‌ها، سؤال ساده‌تری می‌پرسد: با توجه به هر کلاس، هر مقدار ویژگی به تنهایی چقدر محتمل است؟ سپس این احتمالات به ازای هر ویژگی را در نرخ پایه کلاس ضرب می‌کند و کلاسی را انتخاب می‌کند که محتمل‌ترین نتیجه را دارد. فرض اینکه ویژگی‌ها با هم تعامل ندارند، محاسبات را پیش پا افتاده و آموزش را بسیار سریع می‌کند — و در عمل، طبقه‌بندی‌کننده حاصل حتی زمانی که فرض استقلال کاملاً صحیح نیست، کلاس‌ها را به خوبی رتبه‌بندی می‌کند.

تاریخ

طبقه‌بندی‌کننده‌های بی‌یز ساده از نظریه تصمیم بیزی کلاسیک نشأت می‌گیرند و به یکی از اصول اصلی یادگیری ماشین کاربردی، به ویژه برای وظایف طبقه‌بندی متن مانند فیلتر کردن هرزنامه، تبدیل شدند. این روش در کتاب درسی یادگیری ماشین تام میچل در سال ۱۹۹۷، که فرمول‌بندی قضیه بیز و فرض استقلال شرطی را که نام طبقه‌بندی‌کننده را به آن می‌دهد، ارائه می‌کند، به صورت استاندارد مورد بررسی قرار گرفته است.

چه زمانی استفاده شود

مناسب برای طبقه‌بندی سریع زمانی که ویژگی‌های طبقه‌ای، دودویی، پیوسته یا متنی و حداقل حدود ۳۰ مشاهده دارید، به ویژه به عنوان یک خط پایه قوی و ارزان. این روش به طور کلی در مورد توزیع، فرض کمی دارد، اما هر نوع آن فرض احتمال خاص خود را دارد (مثلاً نرمال بودن درون کلاسی برای نوع گوسی)، و به عدم توازن کلاس حساس است. هنگامی که ویژگی‌ها به شدت همبسته هستند یا به تخمین‌های اثر کالیبره شده نیاز دارید، رگرسیون لجستیک را ترجیح دهید.

محدودیت‌ها و ملاحظات

  • فرض استقلال شرطی به ندرت برقرار است، بنابراین تخمین‌های احتمال ممکن است حتی زمانی که رتبه‌بندی خوب است، به خوبی کالیبره نشده باشند.
  • حساس به عدم توازن کلاس: پیشین‌ها باید تنظیم شوند یا داده‌ها دوباره نمونه‌برداری شوند.
  • بی‌یز ساده گوسی زمانی که فرض نرمال بودن درون کلاسی نقض می‌شود، عملکرد ضعیفی پیدا می‌کند.
  • با نمونه‌های بسیار کوچک، که تخمین‌های احتمال به ازای هر کلاس قابل اعتماد نیستند، غیرقابل اعتماد است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • آموزش و پیش‌بینی بسیار سریع، حتی بر روی داده‌های بزرگ یا با ابعاد بالا مانند متن.
  • به عنوان یک خط پایه ساده و کم‌هزینه به خوبی کار می‌کند و اغلب با وجود فرض ساده‌لوحانه خود، عملکرد شگفت‌انگیزی دارد.
  • ویژگی‌های طبقه‌ای، دودویی، پیوسته و متنی را از طریق انواع مختلف خود مدیریت می‌کند.
  • برای تخمین پارامترهای خود به داده‌های آموزشی نسبتاً کمی نیاز دارد.

کاربردها

  • طبقه‌بندی متن مانند فیلتر کردن هرزنامه و دسته‌بندی اسناد.
  • طبقه‌بندی سریع خط پایه قبل از امتحان مدل‌های پیچیده‌تر.
  • طبقه‌بندی با ویژگی‌های طبقه‌ای، دودویی، پیوسته یا شمارشی.
  • مسائل با ابعاد بالا که سرعت آموزش اهمیت دارد.

چگونه کار می‌کند

چگونه کار می‌کند

1

بر اساس قضیه بیز، احتمال یک کلاس با توجه به ویژگی‌های مشاهده‌شده متناسب است با احتمال پیشین کلاس ضربدر احتمال آن ویژگی‌ها تحت آن کلاس. گام 'ساده‌لوحانه' این است که فرض کنیم ویژگی‌ها به شرط کلاس، مستقل شرطی هستند، بنابراین احتمال توأم به یک حاصل‌ضرب ساده از احتمالات به ازای هر ویژگی تجزیه می‌شود. این فرض به ندرت در عمل دقیقاً برقرار است، با این حال عملکرد طبقه‌بندی‌کننده می‌تواند به طرز شگفت‌انگیزی قوی باشد.

فرمول
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)
2

مدل از داده‌های آموزشی، پیشین‌های کلاس (میزان شیوع هر کلاس) و احتمالات به ازای هر ویژگی را تخمین می‌زند. شکل احتمال به نوع متغیر بستگی دارد: بی‌یز ساده گوسی فرض می‌کند که ویژگی‌های پیوسته در هر کلاس به طور نرمال توزیع شده‌اند، در حالی که بی‌یز ساده چندجمله‌ای برای شمارش فراوانی کلمات در طبقه‌بندی متن مناسب است و مقادیر منفی را نمی‌پذیرد. از آنجایی که هر کلاس به طور جداگانه تخمین زده می‌شود، باید مشاهدات کافی به ازای هر کلاس وجود داشته باشد — حداقل حدود ۳۰ مشاهده در کل.

3

برای یک مشاهده جدید، مدل پیشین را با حاصل‌ضرب احتمالات به ازای هر ویژگی برای هر کلاس کاندید ترکیب می‌کند و کلاسی را با بالاترین احتمال حاصله اختصاص می‌دهد. از آنجایی که کلاس‌ها به طور مستقل امتیازدهی می‌شوند، یک مجموعه داده نامتوازن می‌تواند نتیجه را سوگیری کند، بنابراین احتمالات پیشین باید تنظیم شوند یا داده‌ها دوباره نمونه‌برداری شوند.

فرمول
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)

دام‌های رایج

  • اعتماد به احتمالات خروجی خام به عنوان احتمالات به خوبی کالیبره شده، به جای در نظر گرفتن آنها به عنوان یک رتبه‌بندی.
  • نادیده گرفتن عدم توازن کلاس به جای تنظیم پیشین‌ها یا نمونه‌برداری مجدد.
  • وارد کردن مقادیر منفی به بی‌یز ساده چندجمله‌ای، که آن را نمی‌پذیرد.
  • اعمال بی‌یز ساده گوسی به ویژگی‌های پیوسته که به وضوح غیرنرمال هستند بدون بررسی.
  • اجرای آن بر روی مجموعه داده‌ای با مشاهدات بسیار کم به ازای هر کلاس (کمتر از حدود ۳۰ در کل).

پرسش‌های متداول

چرا به آن 'ساده' می‌گویند؟

زیرا فرض می‌کند که ویژگی‌ها به شرط کلاس، مستقل شرطی هستند — یعنی دانستن یک ویژگی چیزی در مورد ویژگی دیگر در یک کلاس به شما نمی‌گوید. این به ندرت به معنای واقعی کلمه صحیح است، اما این ساده‌سازی باعث می‌شود مدل به راحتی تخمین زده شود و سریع اجرا شود، و طبقه‌بندی‌کننده اغلب هنوز کلاس‌ها را به دقت رتبه‌بندی می‌کند.

از کدام نوع باید استفاده کنم؟

بی‌یز ساده گوسی برای ویژگی‌های پیوسته است که فرض می‌شود در هر کلاس به طور نرمال توزیع شده‌اند. بی‌یز ساده چندجمله‌ای برای داده‌های شمارشی یا فراوانی کلمات، مانند طبقه‌بندی متن، مناسب است و مقادیر منفی را نمی‌پذیرد. نوع را با نوع ویژگی خود مطابقت دهید.

آیا می‌توانم به احتمالات پیش‌بینی‌شده اعتماد کنم؟

از کلاس پیش‌بینی‌شده با احتیاط به عنوان یک رتبه‌بندی استفاده کنید. از آنجایی که فرض استقلال معمولاً نقض می‌شود، احتمالات خام تمایل دارند به سمت ۰ یا ۱ سوق داده شوند و اغلب به خوبی کالیبره نمی‌شوند، حتی زمانی که کلاس انتخاب شده صحیح است.

به چه مقدار داده نیاز دارد؟

این روش در مصرف داده صرفه‌جو است، اما همچنان به مشاهدات کافی به ازای هر کلاس — حداقل حدود ۳۰ در کل — نیاز دارید تا پیشین‌های کلاس و احتمالات به ازای هر ویژگی به طور قابل اعتماد تخمین زده شوند. کمتر از آن، رگرسیون لجستیک انتخاب ایمن‌تری است.

روش‌های مرتبط

منابع

  1. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

    شابک: 978-0070428072
    کپی شد.