التعلم النشط والتعلم الاتحادي
- قدّمه
- Multiple authors (federated active learning emerged ~2020)
- السنة
- 2020s
- النوع
- Hybrid paradigm (active querying within distributed training)
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يجمع التعلم النشط الاتحادي بين كفاءة التعليقات التوضيحية للتعلم النشط واللامركزية التي تحافظ على الخصوصية للتعلم الاتحادي. يتم تدريب نموذج عالمي مشترك عبر عملاء موزعين، يقوم كل منهم بشكل مستقل بترتيب بياناته المحلية غير المسماة ويطلب تسميات فقط للأمثلة الأكثر إفادة، مع الاحتفاظ بالبيانات الأولية على الجهاز طوال الوقت.
الفكرة الحدسية وراء الطريقة
في التعلم الاتحادي القياسي، يقوم كل عميل بالتدريب على أي بيانات مسماة يمتلكها بالفعل، بينما في التعلم النشط، يختار مصدر مركزي الأمثلة التي سيتم تسميتها بعد ذلك. يدمج التعلم النشط الاتحادي كلا الفكرتين: يقوم كل عميل بتقييم مجموعة بياناته غير المسماة محليًا، ويختار العينات التي يكون النموذج فيها الأكثر غموضًا، ويرسل فقط تلك إلى مُعلِّق. لا تغادر البيانات الأولية الجهاز. يقوم الخادم العالمي بعد ذلك بتجميع النماذج المحدثة محليًا كما هو الحال في التعلم الاتحادي القياسي، بحيث يتحسن النموذج العالمي من خلال أحدث التسميات الأكثر إفادة دون جمع البيانات الأساسية مركزيًا.
التاريخ
تمت صياغة التعلم الاتحادي بواسطة McMahan وآخرون في عام 2017 باستخدام خوارزمية FedAvg، مما يتيح تدريب النماذج اللامركزية التي تحافظ على الخصوصية. يعود التعلم النشط بجذوره إلى أدبيات الاستعلام حسب اللجنة وأخذ عينات عدم اليقين في التسعينيات. أصبح جمعهما - التعلم النشط الاتحادي - موضوع بحث نشط في أوائل عام 2020، مدفوعًا بالحاجة إلى تقليل تكاليف التعليق التوضيحي في تطبيقات الرعاية الصحية والهواتف المحمولة وإنترنت الأشياء حيث لا يمكن تجميع البيانات مركزيًا. اقترحت مجموعات متعددة بشكل مستقل أطرًا تجمع بين تقدير عدم اليقين المحلي والتجميع الاتحادي، ولا تزال هذه المنطقة مجالًا بحثيًا مفتوحًا.
متى تُستخدم
استخدم التعلم النشط الاتحادي عندما تكون البيانات المسماة نادرة عبر العملاء الموزعين، ويكون التعليق التوضيحي مكلفًا أو يتطلب خبرة في المجال، ويجب أن تظل البيانات الأولية على الجهاز لأسباب تتعلق بالخصوصية أو التنظيم أو عرض النطاق الترددي - على سبيل المثال، السجلات الطبية عبر المستشفيات، أو بيانات المستخدم على الأجهزة المحمولة، أو تدفقات مستشعرات إنترنت الأشياء. إنه قوي بشكل خاص عندما تكون توزيعات بيانات العملاء غير متجانسة (غير مستقلة ومتطابقة التوزيع) وميزانيات التعليقات التوضيحية صغيرة. لا تستخدمه عندما يمكن تجميع جميع البيانات مركزيًا بحرية (يكفي التعلم النشط العادي)، أو عندما يفتقر العملاء إلى القدرة الحاسوبية لتقييم مجموعاتهم الخاصة، أو عندما يكون ضجيج التسمية مرتفعًا (يمكن لأخذ عينات عدم اليقين استغلال التسميات الصاخبة)، أو عندما يكون زمن الاستجابة بين جولات التعليق التوضيحي قيدًا ملزمًا.
الحدود والاعتبارات
- يتم مضاعفة حمل الاتصالات لكل جولة بعدد العملاء الذين يبلغون عن اختيارات الاستعلام.
- يمكن أن تتسبب توزيعات العملاء غير المستقلة والمتطابقة التوزيع في تحيز اختيار التعلم النشط نحو الحد الأدنى المحلي للخسارة العالمية.
- يؤدي مزامنة جولات التعليق التوضيحي عبر العملاء الموزعين إلى إدخال زمن استجابة وتعقيد في التنسيق.
- يصعب تقييم أداء النموذج بدون مجموعة اختبار مسماة مركزية.
- يتطلب تخصيص ميزانية التعليقات التوضيحية عبر العملاء ضبطًا دقيقًا لتجنب تجويع العملاء الصغار أو الأقليات.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يحافظ على خصوصية البيانات عن طريق الاحتفاظ بالعينات الأولية على الجهاز ومشاركة تحديثات النموذج فقط.
- يقلل بشكل كبير من تكلفة التعليق التوضيحي عن طريق الاستعلام عن العينات الأكثر إفادة فقط لكل جولة.
- يتعامل مع توزيعات العملاء غير المتجانسة التي من شأنها أن تضلل متعلمًا نشطًا مركزيًا.
- يتوسع أفقيًا - المزيد من العملاء عادة ما يحسنون تغطية مساحة البيانات غير المسماة.
- متوافق مع الخصوصية التفاضلية والتجميع الآمن لضمانات خصوصية أقوى.
التطبيقات
- التعليق التوضيحي للصور الطبية عبر المستشفيات حيث لا يمكن مشاركة بيانات المرضى.
- التخصيص على الجهاز للوحات مفاتيح الهواتف المحمولة أو التعرف على الكلام مع الحد الأدنى من تعليقات المستخدم التوضيحية.
- الكشف عن الشذوذ في إنترنت الأشياء الصناعي حيث يجب أن تظل بيانات المستشعر في عقد الحافة.
- مراقبة التجارب السريرية الموزعة التي تتطلب تحديثات نماذج اتحادية تحافظ على الخصوصية.
- ضبط دقيق لمعالجة اللغة الطبيعية عبر المؤسسات ذات المجموعات الخاصة.
- تصنيف الاستشعار عن بعد حيث يتم تخزين صور الأقمار الصناعية في مراكز بيانات موزعة جغرافيًا.
كيف يعمل
كيف يعمل
يتم تهيئة نموذج عالمي وبثه إلى جميع العملاء المشاركين. يمكن أن يكون هذا نموذجًا مهيأ عشوائيًا أو نقطة فحص مدربة مسبقًا، وهو يحدد نقطة البداية المشتركة للجولة.
يطبق كل عميل النموذج العالمي الحالي على مجموعة بياناته المحلية غير المسماة ويحسب درجة إفادة لكل عينة - على سبيل المثال، إنتروبيا التنبؤ، أو أخذ عينات الهامش، أو عدم الاتفاق في الاستعلام حسب اللجنة - دون نقل البيانات.
بناءً على درجات الإفادة، يختار كل عميل ميزانية من الأمثلة غير المسماة الأكثر غموضًا أو الأكثر تمثيلاً ليتم التعليق عليها. توازن استراتيجية الاختيار بين الاستكشاف وميزانية التعليقات التوضيحية المتاحة لكل جولة.
يتم إرسال الأمثلة المحددة (أو فقط معرفاتها بالإضافة إلى الميزات اللازمة للتعليق) إلى مصدر بشري أو مُعلِّق آلي. يتم إرجاع التسميات إلى العميل. هذه هي الخطوة الوحيدة التي قد تغادر فيها أي بيانات الجهاز، وفي عمليات النشر الحساسة للخصوصية، يتلقى المصدر فقط.
يقوم كل عميل بضبط النموذج العالمي بدقة على أمثلته المسماة حديثًا - وربما على مجموعته المسماة الموجودة - باستخدام تحسين SGD المحلي القياسي أو Adam لعدد ثابت من الحقب المحلية.
يقوم العملاء بتحميل تحديثات نماذجهم (التدرجات أو فروق الأوزان، وليس البيانات) إلى الخادم. يقوم الخادم بتجميع هذه التحديثات، عادةً عبر FedAvg (المتوسط المرجح)، لتشكيل النموذج العالمي المحدث، والذي يتم بثه بعد ذلك لبدء الجولة التالية.
الأخطاء الشائعة
- تطبيق دالة اكتساب التعلم النشط المركزي مباشرة دون مراعاة تحول التوزيع بين العملاء - قد لا تعكس تقديرات عدم اليقين المحلية عدم اليقين في النموذج العالمي.
- تجاهل تكاليف الاتصالات عند تصميم ميزانية الاستعلام: قد يؤدي طلب تسميات لعدد كبير جدًا من العينات لكل عميل في كل جولة إلى إرباك خطوط أنابيب التعليقات التوضيحية.
- معاملة النموذج العالمي على أنه متقارب بعد عدد قليل جدًا من جولات الاتحاد قبل الاستعلام، مما يؤدي إلى درجات عدم يقين ضعيفة المعايرة.
- إهمال العملاء البطيئين - العملاء البطيئون أو المتاحون بشكل متقطع - مما قد يؤدي إلى تحيز التجميع نحو توزيعات العملاء الأسرع.
- افتراض بيانات عملاء مستقلة ومتطابقة التوزيع عند تطبيق تجميع FedAvg، مما يتسبب في تباعد عندما تكون توزيعات العملاء غير متجانسة للغاية.
الأسئلة الشائعة
كيف يختلف التعلم النشط الاتحادي عن التعلم الاتحادي القياسي؟
يقوم التعلم الاتحادي القياسي بالتدريب فقط على البيانات المسماة التي يمتلكها العملاء بالفعل. يضيف التعلم النشط الاتحادي خطوة استعلام نشطة: يقوم كل عميل بتقييم مجموعة بياناته غير المسماة ويختار الأمثلة الأكثر إفادة ليتم التعليق عليها، مما يسمح للنموذج العالمي بالتحسن مع عدد أقل بكثير من التسميات الإجمالية.
ما هي دالة الاكتساب التي يجب أن أستخدمها للتقييم المحلي؟
أخذ عينات الإنتروبيا (اختيار الأمثلة ذات أعلى إنتروبيا تنبؤية) هو نقطة البداية الأكثر شيوعًا ويعمل بشكل جيد عندما يكون النموذج المحلي معايرًا بشكل معقول. تعد أخذ عينات الهامش و BALD (التعلم النشط البايزي عن طريق عدم الاتفاق) بدائل جيدة عندما يكون معايرة عدم اليقين عبر الاتحاد مصدر قلق.
هل يمكن دمج التعلم النشط الاتحادي مع الخصوصية التفاضلية؟
نعم. يمكن تطبيق آليات الخصوصية التفاضلية مثل DP-SGD أثناء التدريب المحلي، ويمكن استخدام التجميع الآمن من جانب الخادم. يجب أن تأخذ ميزانية الخصوصية في الاعتبار كل من تحديثات النموذج وأي بيانات وصفية حول العينات التي تم اختيارها للاستعلام.
ماذا يحدث عندما يكون لدى العملاء كميات مختلفة جدًا من البيانات غير المسماة؟
ستهيمن العملاء الذين لديهم مجموعات بيانات غير مسماة كبيرة على ميزانية الاستعلام إذا تلقى كل منهم حصة مطلقة متساوية. يؤدي تخصيص الميزانية النسبي أو التكيفي - قياس ميزانية التعليقات التوضيحية لكل عميل حسب حجم أو الإفادة المقدرة لمجموعته - إلى تخفيف هذا الخلل.
كم عدد جولات الاتحاد المطلوبة عادة قبل أن يساعد الاستعلام النشط؟
يعتمد ذلك على جودة النموذج الأولي. يؤدي البدء ببضع جولات على الأقل من التدريب الاتحادي القياسي باستخدام البيانات المسماة المتاحة إلى تحسين معايرة تقديرات عدم اليقين قبل تشغيل الاستعلام النشط. يمكن أن يؤدي الاستعلام البارد مع نموذج أولي عشوائي إلى إهدار ميزانية التعليقات التوضيحية على عينات غير مفيدة.
طرق ذات صلة
المصادر
Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
افتح مرجع المنشورتم النسخ.Federated learning. Wikipedia.
افتح مرجع المنشورتم النسخ.