بايز الساذج (Naive Bayes)
- قدّمه
- Mitchell, T. M. (textbook treatment)
- السنة
- 1997
- النوع
- Probabilistic classifier (Bayes' theorem with conditional independence)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
بايز الساذج هو مصنف احتمالي سريع يطبق نظرية بايز مع افتراض أن السمات مستقلة شرطيًا بالنظر إلى الفئة - وهي طريقة تم تناولها بشكل قياسي في تعلم الآلة في كتاب توم ميتشل عام 1997 بعنوان Machine Learning. على الرغم من هذا الافتراض المبسّط ('الساذج')، إلا أنه سريع التدريب وغالبًا ما يكون دقيقًا بشكل مدهش.
الفكرة الحدسية وراء الطريقة
بدلاً من تعلم التفاعلات المعقدة بين السمات، يطرح بايز الساذج سؤالاً أبسط: بالنظر إلى كل فئة، ما مدى احتمالية كل قيمة سمة بمفردها؟ ثم يضرب هذه الاحتمالات لكل سمة مع المعدل الأساسي للفئة ويختار الفئة التي تظهر الأكثر احتمالاً. إن التظاهر بأن السمات لا تتفاعل يجعل الرياضيات بسيطة والتدريب سريعًا للغاية - وفي الممارسة العملية، لا يزال المصنف الناتج يصنف الفئات جيدًا حتى عندما لا يكون افتراض الاستقلال صحيحًا تمامًا.
التاريخ
تنشأ مصنفات بايز الساذج من نظرية القرار البايزية الكلاسيكية وأصبحت ركيزة أساسية في تعلم الآلة التطبيقي، خاصة لمهام تصنيف النصوص مثل تصفية البريد العشوائي. تتلقى الطريقة معالجتها القياسية في الكتب المدرسية في كتاب Tom Mitchell's 1997 Machine Learning، الذي يقدم صياغة نظرية بايز وافتراض الاستقلال الشرطي الذي يعطي المصنف اسمه.
متى تُستخدم
مناسب للتصنيف السريع عندما يكون لديك سمات فئوية، ثنائية، مستمرة، أو نصية وما لا يقل عن 30 ملاحظة، خاصة كخط أساس قوي وغير مكلف. إنه خفيف الافتراضات بشكل عام ولكن كل متغير يحمل افتراض الاحتمالية الخاص به (على سبيل المثال، الطبيعية داخل الفئة للمتغير الغاوسي)، وهو حساس لعدم توازن الفئة. عندما تكون السمات مترابطة بقوة أو تحتاج إلى تقديرات تأثير معايرة، فضل الانحدار اللوجستي.
الحدود والاعتبارات
- افتراض الاستقلال الشرطي نادرًا ما يتحقق، لذلك يمكن أن تكون تقديرات الاحتمالات غير معايرة بشكل جيد حتى عندما يكون التصنيف جيدًا.
- حساس لعدم توازن الفئة: يجب تعديل الاحتمالات المسبقة أو إعادة أخذ عينات من البيانات.
- يتدهور أداء بايز الساذج الغاوسي عندما يتم انتهاك افتراض الطبيعية داخل الفئة.
- غير موثوق به مع العينات الصغيرة جدًا، حيث لا تكون تقديرات الاحتمالات لكل فئة جديرة بالثقة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- سريع للغاية في التدريب والتنبؤ، حتى على البيانات الكبيرة أو عالية الأبعاد مثل النصوص.
- يعمل بشكل جيد كخط أساس بسيط ومنخفض التكلفة وغالبًا ما يؤدي بشكل جيد بشكل مدهش على الرغم من افتراضه الساذج.
- يتعامل مع السمات الفئوية والثنائية والمستمرة والنصية من خلال متغيراته المختلفة.
- يحتاج إلى القليل نسبيًا من بيانات التدريب لتقدير معلماته.
التطبيقات
- تصنيف النصوص مثل تصفية البريد العشوائي وتصنيف المستندات.
- تصنيف أساسي سريع قبل تجربة نماذج أكثر تعقيدًا.
- التصنيف باستخدام سمات فئوية، ثنائية، مستمرة، أو عددية.
- مشاكل عالية الأبعاد حيث تكون سرعة التدريب مهمة.
كيف يعمل
كيف يعمل
وفقًا لنظرية بايز، فإن احتمالية فئة بالنظر إلى السمات المرصودة تتناسب مع الاحتمالية المسبقة للفئة مضروبة في احتمالية تلك السمات تحت تلك الفئة. الخطوة 'الساذجة' هي افتراض أن السمات مستقلة شرطيًا بالنظر إلى الفئة، بحيث تتحلل الاحتمالية المشتركة إلى حاصل ضرب بسيط للاحتمالات لكل سمة. هذا الافتراض نادرًا ما يتحقق تمامًا في الممارسة العملية، ومع ذلك يمكن أن يكون أداء المصنف قويًا بشكل مدهش.
الصيغة
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)من بيانات التدريب، يقدر النموذج الاحتمالات المسبقة للفئة (مدى شيوع كل فئة) والاحتمالات لكل سمة. يعتمد شكل الاحتمالية على المتغير: بايز الساذج الغاوسي يفترض أن السمات المستمرة موزعة طبيعيًا داخل كل فئة، بينما يناسب بايز الساذج المتعدد الحدود تكرارات المصطلحات في تصنيف النصوص ولا يقبل القيم السالبة. نظرًا لأنه يتم تقدير كل فئة بشكل منفصل، يجب أن يكون هناك ملاحظات كافية لكل فئة - حوالي 30 على الأقل بشكل عام.
بالنسبة لملاحظة جديدة، يجمع النموذج الاحتمالية المسبقة مع حاصل ضرب احتمالات كل سمة لكل فئة مرشحة ويخصص الفئة ذات الاحتمالية الأعلى الناتجة. نظرًا لأنه يتم تقييم الفئات بشكل مستقل، يمكن أن يؤدي عدم توازن مجموعة البيانات إلى تحيز النتيجة، لذلك يجب ضبط الاحتمالات المسبقة أو إعادة أخذ عينات من البيانات.
الصيغة
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)الأخطاء الشائعة
- الثقة في احتمالات الإخراج الخام كمعايرة جيدًا بدلاً من معاملتها كتصنيف.
- تجاهل عدم توازن الفئة بدلاً من ضبط الاحتمالات المسبقة أو إعادة أخذ العينات.
- إدخال قيم سالبة في بايز الساذج المتعدد الحدود، وهو ما لا يقبله.
- تطبيق بايز الساذج الغاوسي على سمات مستمرة غير طبيعية بوضوح دون التحقق.
- تشغيله على مجموعة بيانات بها عدد قليل جدًا من الملاحظات لكل فئة (أقل من حوالي 30 بشكل عام).
الأسئلة الشائعة
لماذا يسمى 'ساذج'؟
لأنه يفترض أن السمات مستقلة شرطيًا بالنظر إلى الفئة - أي أن معرفة سمة واحدة لا تخبرك شيئًا عن سمة أخرى داخل فئة. هذا نادرًا ما يكون صحيحًا حرفيًا، لكن التبسيط يجعل النموذج بسيطًا في التقدير وسريعًا في التشغيل، وغالبًا ما يصنف المصنف الفئات بدقة.
أي متغير يجب أن أستخدم؟
بايز الساذج الغاوسي مخصص للسمات المستمرة المفترضة أنها موزعة طبيعيًا داخل كل فئة. بايز الساذج المتعدد الحدود يناسب بيانات العد أو تكرار المصطلحات، كما في تصنيف النصوص، ولا يقبل القيم السالبة. طابق المتغير مع نوع السمة الخاص بك.
هل يمكنني الوثوق بالاحتمالات المتوقعة؟
استخدم الفئة المتوقعة بحذر كتصنيف. نظرًا لأن افتراض الاستقلال ينتهك عادةً، تميل الاحتمالات الخام إلى الانجذاب نحو 0 أو 1 وغالبًا ما تكون غير معايرة بشكل جيد، حتى عندما تكون الفئة المختارة صحيحة.
كم عدد البيانات التي يحتاجها؟
إنه اقتصادي في البيانات، لكنك لا تزال بحاجة إلى ملاحظات كافية لكل فئة - حوالي 30 على الأقل بشكل عام - حتى يمكن تقدير الاحتمالات المسبقة للفئة والاحتمالات لكل سمة بشكل موثوق. أقل من ذلك، يعد الانحدار اللوجستي خيارًا أكثر أمانًا.
طرق ذات صلة
المصادر
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ردمك: 978-0070428072تم النسخ.