Skip to content
بازگشت به نتایج جست‌وجو

بی‌یز ساده برخط

معرفی‌شده توسط
Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
سال
2000s
نوع
Probabilistic classifier (online/incremental)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

بی‌یز ساده برخط (Online Naive Bayes) یک انطباق افزایشی از طبقه‌بندی‌کننده کلاسیک بی‌یز ساده است که آمار مشروط به کلاس خود را با هر مشاهده (یا هر مینی-دسته) به‌روزرسانی می‌کند. این ویژگی آن را برای جریان‌های داده، مجموعه‌داده‌های بسیار بزرگی که نمی‌توانند در حافظه نگهداری شوند، و محیط‌هایی که مدل باید به‌طور پیوسته با ورود نمونه‌های برچسب‌دار جدید سازگار شود، بسیار مناسب می‌سازد.

شهود پشت روش

بی‌یز ساده کلاسیک تمام داده‌های آموزشی را یکجا می‌خواند، پیشایندهای کلاس و درست‌نمایی ویژگی‌ها را محاسبه می‌کند، و سپس پارامترهای خود را ثابت می‌کند. در مقابل، بی‌یز ساده برخط، شمارش‌های جاری یا آماره‌های کافی (میانگین‌ها، واریانس‌ها، فراوانی ویژگی‌ها) را حفظ می‌کند که با هر نمونه جدید به‌طور افزایشی به‌روزرسانی می‌شوند. از آنجا که فرض استقلال شرطی بی‌یز ساده به این معنی است که درست‌نمایی به جملات مربوط به هر ویژگی تجزیه می‌شود، آماره‌های هر ویژگی را می‌توان به‌طور مستقل و با هزینه کم به‌روزرسانی کرد، که این امر مدل را به‌طور طبیعی برای یادگیری تک‌گذر بر روی جریان‌ها بدون قربانی کردن مکانیسم پیش‌بینی احتمالی مناسب می‌سازد.

تاریخ

بی‌یز ساده ریشه‌هایی در آمار بیزی دارد که به قرن هجدهم بازمی‌گردد، اما استفاده از آن به عنوان یک طبقه‌بندی‌کننده متن در دهه ۱۹۹۰ محبوب شد (به عنوان مثال، McCallum & Nigam, 1998). نسخه برخط/افزایشی با کار جامعه استخراج جریان داده در اوایل دهه ۲۰۰۰، به ویژه از طریق کار دومینگوس و هولتن در مورد استخراج جریان‌های داده با سرعت بالا (KDD 2000)، توجه سیستماتیک را به خود جلب کرد. اکنون این یک جزء استاندارد از ابزارهای پردازش جریان است و مستقیماً در scikit-learn از طریق API partial_fit در دسترس است.

چه زمانی استفاده شود

از بی‌یز ساده برخط زمانی استفاده کنید که داده‌ها به صورت جریان وارد می‌شوند یا برای بارگذاری یکباره در حافظه بسیار بزرگ هستند، زمانی که به‌روزرسانی‌های افزایشی سریع و کم‌حافظه مورد نیاز است، یا زمانی که مدل باید به‌طور پیوسته با نمونه‌های جدید سازگار شود (مانند طبقه‌بندی متن فیدهای زنده، فیلتر کردن هرزنامه، یا طبقه‌بندی رویداد در خطوط لوله اینترنت اشیا). همچنین این یک خط پایه قوی برای داده‌های متنی پراکنده با ابعاد بالا (کیسه کلمات، TF-IDF) در محیط‌های جریانی است. زمانی از آن استفاده نکنید که فرض استقلال شرطی به شدت نقض شده باشد و داده‌های کافی برای آموزش یک مدل گویاتر در حالت دسته‌ای وجود داشته باشد، زمانی که ویژگی‌ها به شدت همبسته هستند و ثبت تعاملات حیاتی است، یا زمانی که توزیع‌های کلاس بدون تصحیح به شدت نامتعادل هستند.

محدودیت‌ها و ملاحظات

  • فرض استقلال شرطی ساده به ندرت دقیقاً برآورده می‌شود و زمانی که ویژگی‌ها به شدت همبسته هستند می‌تواند به دقت آسیب برساند.
  • نمی‌تواند تعاملات ویژگی‌ها را یاد بگیرد؛ هر ویژگی به‌طور مستقل به پسین کمک می‌کند.
  • انحراف مفهوم (Concept drift) نیاز به مکانیزم‌های فراموشی صریح (مانند پنجره‌های کشویی، عوامل کاهشی) دارد، زیرا مدل پیش‌فرض تمام شواهد تاریخی را انباشته می‌کند.
  • بی‌یز ساده گوسی توزیع‌های ویژگی تک‌وجهی و تقریباً گوسی را برای هر کلاس فرض می‌کند که ممکن است برقرار نباشد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • هر نمونه را به صورت جداگانه با هزینه به‌روزرسانی O(1) برای هر ویژگی پردازش می‌کند، که آن را برای داده‌های جریانی بسیار سریع و کارآمد از نظر حافظه می‌سازد.
  • ذاتاً احتمالی: احتمالات پسین کلاس کالیبره شده را خروجی می‌دهد، نه فقط برچسب‌های قطعی.
  • بدون کاهش قابل توجه سرعت، به فضاهای ویژگی با ابعاد بسیار بالا (مانند متن) مقیاس‌پذیر است.
  • نیازی به ذخیره داده‌های تاریخی نیست؛ مدل کاملاً توسط آماره‌های کافی خود تعریف می‌شود.
  • پیاده‌سازی و درک آن ساده است؛ فرض استقلال شرطی اغلب در عمل بهتر از حد انتظار عمل می‌کند.

کاربردها

  • تشخیص هرزنامه و فیشینگ در زمان واقعی بر روی جریان‌های ایمیل یا پیام.
  • طبقه‌بندی متن افزایشی بر روی فیدهای خبری زنده یا رسانه‌های اجتماعی.
  • طبقه‌بندی رویداد حسگر در سیستم‌های اینترنت اشیا که داده‌ها به‌طور پیوسته وارد می‌شوند.
  • طبقه‌بندی‌کننده خط پایه برای فضاهای ویژگی کیسه کلمات یا TF-IDF با ابعاد بالا.
  • تحلیل احساسات برخط بر روی بررسی‌های مشتریان یا پست‌های اجتماعی جریانی.
  • هر وظیفه طبقه‌بندی که برای جای گرفتن در حافظه بسیار بزرگ است و یک مدل احتمالی سریع قابل قبول باشد.

چگونه کار می‌کند

چگونه کار می‌کند

1

پیشایندهای کلاس P(C_k) = N_k / N از هر داده برچسب‌داری که در زمان راه‌اندازی موجود است (یا به صورت یکنواخت تنظیم می‌شود) مقداردهی اولیه می‌شوند. آماره‌های کافی مربوط به هر ویژگی — شمارش‌ها برای ویژگی‌های دسته‌ای، میانگین و واریانس جاری برای ویژگی‌های گوسی — نیز به همین ترتیب مقداردهی اولیه می‌شوند.

فرمول
P(C_k) = N_k / N
2

هنگامی که یک نمونه برچسب‌دار جدید (x, y) می‌رسد، شمارش کلاس N_y یک واحد افزایش می‌یابد و آماره‌های کافی برای هر ویژگی x_i تحت کلاس y به‌روزرسانی می‌شوند: شمارش‌ها برای ویژگی‌های برنولی یا چندجمله‌ای افزایش می‌یابند، و میانگین و واریانس جاری با استفاده از الگوریتم برخط ولفورد برای ویژگی‌های گوسی به‌روزرسانی می‌شوند. نیازی به بازبینی نمونه‌های قدیمی نیست.

3

در زمان پیش‌بینی (یا پس از هر به‌روزرسانی)، درست‌نمایی‌های مربوط به هر ویژگی P(x_i | C_k) از آماره‌های کافی فعلی محاسبه می‌شوند. برای بی‌یز ساده گوسی، تابع چگالی احتمال گوسی ارزیابی می‌شود؛ برای نسخه‌های چندجمله‌ای یا برنولی، از نسبت‌های فراوانی هموارشده استفاده می‌شود.

فرمول
P(x_i | C_k)
4

احتمال پسین برای هر کلاس به عنوان حاصل‌ضرب پیشایند کلاس و تمام درست‌نمایی‌های مربوط به هر ویژگی محاسبه می‌شود، سپس کلاسی با بالاترین پسین بازگردانده می‌شود. از آنجا که در عمل از لگاریتم‌ها استفاده می‌شود، این به یک جمع تبدیل شده و از سرریز عددی جلوگیری می‌کند.

فرمول
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)

دام‌های رایج

  • فراموش کردن اعمال هموارسازی لاپلاس (افزودن یک) برای نسخه‌های چندجمله‌ای/برنولی، که باعث مشکلات احتمال صفر برای مقادیر ویژگی دیده نشده می‌شود.
  • نادیده گرفتن انحراف مفهوم: بدون یک استراتژی فراموشی یا پنجره‌بندی، مدل به آرامی در جریان‌های ناپایا منسوخ می‌شود.
  • استفاده از بی‌یز ساده گوسی برای داده‌های شمارشی (مانند شمارش کلمات) به جای بی‌یز ساده چندجمله‌ای.
  • برخورد با احتمالات مدل به عنوان کاملاً کالیبره شده بدون بررسی؛ رگرسیون ایزوتونیک یا مقیاس‌بندی پلات ممکن است مورد نیاز باشد.
  • ارزیابی فقط بر اساس دقت در صورت وجود عدم تعادل کلاس؛ از دقت، فراخوانی و F1 برای هر کلاس استفاده کنید.

پرسش‌های متداول

بی‌یز ساده برخط چگونه با انحراف مفهوم برخورد می‌کند؟

به‌طور پیش‌فرض، تمام شواهد را انباشته می‌کند، بنابراین به آرامی با انحراف سازگار می‌شود. برای واکنش سریع‌تر، یک پنجره کشویی (فقط نمونه‌های اخیر را شمارش کنید)، فراموشی نمایی (به مشاهدات قدیمی‌تر وزن کمتری بدهید)، یا بازنشانی آماره‌های کافی را هنگام تشخیص انحراف اعمال کنید.

کدام نسخه را باید استفاده کنم — گوسی، چندجمله‌ای یا برنولی؟

از بی‌یز ساده چندجمله‌ای یا برنولی برای متن (بردارهای ویژگی شمارشی یا باینری) و از بی‌یز ساده گوسی برای ویژگی‌های پیوسته که تقریباً به صورت نرمال در هر کلاس توزیع شده‌اند، استفاده کنید. منطق به‌روزرسانی برخط کمی متفاوت است، اما همه نسخه‌ها از به‌روزرسانی‌های افزایشی پشتیبانی می‌کنند.

آیا بی‌یز ساده برخط با مدل‌های برخط پیچیده‌تر رقابتی است؟

در متن‌های پراکنده با ابعاد بالا، اغلب با رگرسیون لجستیک برخط یا SVM برخط رقابتی است، با هزینه محاسباتی کمتر. در مجموعه‌داده‌های متراکم، با ابعاد پایین‌تر، یا ویژگی‌های بسیار همبسته، رگرسیون لجستیک برخط یا تقویت گرادیان معمولاً عملکرد بهتری دارند.

چگونه باید یک طبقه‌بندی‌کننده برخط را ارزیابی کنم؟

از ارزیابی پیش‌رونده (آزمایش-سپس-آموزش) استفاده کنید: هر نمونه را قبل از به‌روزرسانی مدل پیش‌بینی کنید، سپس به‌روزرسانی کنید. این یک تخمین بی‌طرفانه از عملکرد جریانی بدون نیاز به مجموعه نگهداری جداگانه ارائه می‌دهد.

آیا می‌توانم بی‌یز ساده برخط را از یک مدل آموزش‌دیده دسته‌ای مقداردهی اولیه کنم؟

بله. یک مدل بی‌یز ساده دسته‌ای را روی یک مجموعه داده اولیه آموزش دهید تا آماره‌های کافی شروع خوبی به دست آورید، سپس به به‌روزرسانی‌های افزایشی تغییر دهید. این رویکرد شروع گرم از عدم دقت شروع سرد یک مدل تصادفی مقداردهی اولیه شده جلوگیری می‌کند.

روش‌های مرتبط

منابع

  1. Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.

    باز کردن مرجع DOI
    کپی شد.
  2. Online machine learning. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.