نايف بايز عبر الإنترنت
- قدّمه
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- السنة
- 2000s
- النوع
- Probabilistic classifier (online/incremental)
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
نايف بايز عبر الإنترنت هو تكيف تدريجي لمصنف نايف بايز الكلاسيكي الذي يقوم بتحديث إحصائياته الشرطية للفئة لكل ملاحظة (أو دفعة صغيرة) في كل مرة، مما يجعله مناسبًا لتدفقات البيانات، ومجموعات البيانات الكبيرة جدًا التي لا يمكن الاحتفاظ بها في الذاكرة، والإعدادات التي يجب أن يتكيف فيها النموذج باستمرار مع وصول أمثلة جديدة مصنفة.
الفكرة الحدسية وراء الطريقة
يقرأ نايف بايز الكلاسيكي جميع بيانات التدريب دفعة واحدة، ويحسب أولويات الفئة واحتمالات الميزات، ثم يجمد معلماته. بدلاً من ذلك، يحتفظ نايف بايز عبر الإنترنت بالعدد الجاري أو الإحصائيات الكافية (المتوسطات، التباينات، ترددات الميزات) التي يتم تحديثها تدريجيًا مع كل مثال جديد. نظرًا لأن افتراض الاستقلال الشرطي لنايف بايز يعني أن الاحتمال يتجزأ إلى حدود لكل ميزة، يمكن تحديث إحصائيات كل ميزة بشكل مستقل وبتكلفة زهيدة، مما يجعل النموذج مناسبًا بشكل طبيعي للتعلم أحادي المرور عبر التدفقات دون التضحية بآلية التنبؤ الاحتمالية.
التاريخ
يعود أصل نايف بايز إلى الإحصاءات البايزية التي تعود إلى القرن الثامن عشر، ولكن استخدامه كمصنف نصوص تم تعميمه في التسعينيات (مثل ماكولوم ونيغام، 1998). اكتسب المتغير عبر الإنترنت/التدريجي اهتمامًا منهجيًا مع مجتمع تعدين تدفقات البيانات في أوائل العقد الأول من القرن الحادي والعشرين، لا سيما من خلال عمل دومينغوس وهولتن حول تعدين تدفقات البيانات عالية السرعة (KDD 2000). إنه الآن مكون قياسي لأدوات معالجة التدفق ويتم عرضه مباشرة في scikit-learn من خلال واجهة برمجة التطبيقات partial_fit.
متى تُستخدم
استخدم نايف بايز عبر الإنترنت عندما تصل البيانات كتدفق أو تكون كبيرة جدًا بحيث لا يمكن تحميلها في الذاكرة دفعة واحدة، وعند الحاجة إلى تحديثات تدريجية سريعة ومنخفضة الذاكرة، أو عندما يجب أن يتكيف النموذج باستمرار مع الأمثلة الجديدة (مثل تصنيف النصوص للأخبار الحية، تصفية البريد العشوائي، أو تصنيف الأحداث في خطوط أنابيب إنترنت الأشياء). إنه أيضًا خط أساس قوي للبيانات النصية عالية الأبعاد المتفرقة (حقيبة الكلمات، TF-IDF) في إعدادات التدفق. لا تستخدمه عندما يتم انتهاك افتراض الاستقلال الشرطي بشدة وهناك بيانات كافية لتدريب نموذج أكثر تعبيرًا في وضع الدفعة، عندما تكون الميزات مترابطة بشدة ويكون التقاط التفاعلات أمرًا بالغ الأهمية، أو عندما تكون توزيعات الفئات غير متوازنة للغاية بدون تصحيح.
الحدود والاعتبارات
- افتراض الاستقلال الشرطي الساذج نادرًا ما يتم تلبيته بدقة ويمكن أن يضر بالدقة عندما تكون الميزات مترابطة بقوة.
- لا يمكنه تعلم تفاعلات الميزات؛ تساهم كل ميزة بشكل مستقل في الاحتمال اللاحق.
- الانجراف المفاهيمي يتطلب آليات نسيان صريحة (مثل النوافذ المنزلقة، عوامل الاضمحلال) حيث أن النموذج الافتراضي يجمع كل الأدلة التاريخية.
- يفترض نايف بايز الغاوسي توزيعات ميزات لكل فئة أحادية النمط، وغالبًا ما تكون غاوسية، وهو ما قد لا يكون صحيحًا.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يعالج مثالًا واحدًا في كل مرة بتكلفة تحديث O(1) لكل ميزة، مما يجعله سريعًا للغاية وفعالًا من حيث الذاكرة للبيانات المتدفقة.
- احتمالي بطبيعته: يخرج احتمالات لاحقة للفئة معايرة، وليس مجرد تسميات صلبة.
- يتوسع إلى مساحات ميزات عالية الأبعاد جدًا (مثل النصوص) دون عقوبة سرعة كبيرة.
- لا حاجة لتخزين البيانات التاريخية؛ النموذج معرف بالكامل بإحصائياته الكافية.
- بسيط للتنفيذ والفهم؛ غالبًا ما يعمل افتراض الاستقلال الشرطي بشكل أفضل من المتوقع في الممارسة العملية.
التطبيقات
- الكشف في الوقت الفعلي عن البريد العشوائي والتصيد الاحتيالي على تدفقات البريد الإلكتروني أو الرسائل.
- التصنيف النصي التدريجي عبر تدفقات الأخبار الحية أو وسائل التواصل الاجتماعي.
- تصنيف أحداث المستشعرات في أنظمة إنترنت الأشياء حيث تصل البيانات باستمرار.
- مصنف أساسي لمساحات الميزات عالية الأبعاد لحقيبة الكلمات أو TF-IDF.
- تحليل المشاعر عبر الإنترنت على تدفقات مراجعات العملاء أو المنشورات الاجتماعية.
- أي مهمة تصنيف كبيرة جدًا بحيث لا يمكن احتواؤها في الذاكرة حيث يكون نموذج احتمالي سريع مقبولًا.
كيف يعمل
كيف يعمل
يتم تهيئة أولويات الفئة P(C_k) = N_k / N من أي بيانات مصنفة متاحة عند بدء التشغيل (أو يتم تعيينها إلى موحدة). يتم تهيئة الإحصائيات الكافية لكل ميزة - الأعداد للميزات الفئوية، والمتوسط والتباين الجاري للميزات الغاوسية - بشكل مشابه.
الصيغة
P(C_k) = N_k / N
عند وصول مثال مصنف جديد (x, y)، يتم زيادة عدد الفئة N_y بمقدار واحد ويتم تحديث الإحصائيات الكافية لكل ميزة x_i ضمن الفئة y: يتم زيادة الأعداد للميزات برنولي أو متعددة الحدود، ويتم تحديث المتوسط والتباين الجاريين باستخدام خوارزمية ويلفورد عبر الإنترنت للميزات الغاوسية. لا حاجة لإعادة زيارة الأمثلة القديمة.
عند وقت التنبؤ (أو بعد كل تحديث)، يتم حساب احتمالات كل ميزة P(x_i | C_k) من الإحصائيات الكافية الحالية. بالنسبة لنايف بايز الغاوسي، يتم تقييم دالة الكثافة الاحتمالية الغاوسية؛ بالنسبة لمتغيرات متعددة الحدود أو برنولي، يتم استخدام نسب التردد المخففة.
الصيغة
P(x_i | C_k)
يتم حساب الاحتمال اللاحق لكل فئة كحاصل ضرب الأولوية للفئة وجميع احتمالات كل ميزة، ثم يتم إرجاع الفئة ذات الاحتمال اللاحق الأعلى. نظرًا لاستخدام اللوغاريتمات في الممارسة العملية، يصبح هذا مجموعًا ويتجنب التدفق الرقمي السفلي.
الصيغة
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)الأخطاء الشائعة
- النسيان في تطبيق تنعيم لابلاس (إضافة واحد) لمتغيرات متعددة الحدود/برنولي، مما يتسبب في مشاكل احتمالية صفرية لقيم الميزات غير المرئية.
- تجاهل الانجراف المفاهيمي: بدون استراتيجية نسيان أو نافذة، يصبح النموذج قديمًا ببطء على التدفقات غير المستقرة.
- استخدام نايف بايز الغاوسي لبيانات العد (مثل عدد الكلمات) بدلاً من نايف بايز متعدد الحدود.
- معاملة احتمالات النموذج على أنها معايرة تمامًا دون التحقق؛ قد تكون هناك حاجة إلى الانحدار المتساوي أو قياس بلات.
- التقييم فقط على الدقة عندما يكون عدم توازن الفئة موجودًا؛ استخدم الدقة، والاستدعاء، و F1 لكل فئة.
الأسئلة الشائعة
كيف يتعامل نايف بايز عبر الإنترنت مع الانجراف المفاهيمي؟
بشكل افتراضي، يجمع كل الأدلة، لذلك يتكيف ببطء مع الانجراف. للتفاعل بشكل أسرع، قم بتطبيق نافذة منزلقة (عد الأمثلة الأخيرة فقط)، أو نسيان أسي (وزن الملاحظات الأقدم بشكل أقل)، أو إعادة تعيين الإحصائيات الكافية عند اكتشاف الانجراف.
أي متغير يجب أن أستخدم - غاوسي، متعدد الحدود، أم برنولي؟
استخدم نايف بايز متعدد الحدود أو برنولي للنصوص (متجهات الميزات العددية أو الثنائية) ونايف بايز الغاوسي للميزات المستمرة التي تكون موزعة بشكل طبيعي تقريبًا داخل كل فئة. يختلف منطق التحديث عبر الإنترنت قليلاً، ولكن جميع المتغيرات تدعم التحديثات التدريجية.
هل نايف بايز عبر الإنترنت تنافسي مع نماذج عبر الإنترنت أكثر تعقيدًا؟
على النصوص المتفرقة عالية الأبعاد، غالبًا ما يكون تنافسيًا مع الانحدار اللوجستي عبر الإنترنت أو آلات المتجهات الداعمة عبر الإنترنت، بتكلفة حسابية أقل. على مجموعات الميزات الكثيفة، منخفضة الأبعاد، أو المترابطة بشدة، يتفوق الانحدار اللوجستي عبر الإنترنت أو تعزيز التدرج عادةً عليه.
كيف يجب أن أقوم بتقييم مصنف عبر الإنترنت؟
استخدم التقييم المسبق (اختبار ثم تدريب): تنبأ بكل مثال قبل تحديث النموذج، ثم قم بالتحديث. هذا يعطي تقديرًا غير متحيز لأداء التدفق دون مجموعة احتفاظ منفصلة.
هل يمكنني تهيئة نايف بايز عبر الإنترنت من نموذج مدرب على دفعات؟
نعم. قم بتدريب نموذج نايف بايز على دفعات على مجموعة بيانات أولية للحصول على إحصائيات كافية جيدة للبدء، ثم قم بالتبديل إلى التحديثات التدريجية. يتجنب هذا النهج البدء الدافئ عدم دقة البداية الباردة لنموذج تم تهيئته عشوائيًا.
طرق ذات صلة
المصادر
Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.
افتح مرجع DOIتم النسخ.Online machine learning. Wikipedia.
افتح مرجع المنشورتم النسخ.