التعلم الاتحادي
- قدّمه
- McMahan et al.
- السنة
- 2017
- النوع
- Distributed privacy-preserving machine learning
- العائلة
- Privacy-preserving analysis
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التعلم الاتحادي (Federated Learning) هو نموذج تعلم آلي موزع قُدِّم بواسطة McMahan وآخرون في عام 2017، حيث يتم تدريب نموذج عالمي بشكل تعاوني عبر العديد من العملاء اللامركزيين - مثل الأجهزة المحمولة أو أنظمة المستشفيات - دون نقل البيانات الأولية أبدًا إلى خادم مركزي. يقوم كل مشارك بحساب تحديثات النموذج محليًا باستخدام بياناته الخاصة؛ فقط تلك التحديثات، وليس البيانات الأساسية، هي التي يتم إرسالها وتجميعها بواسطة الخادم لتحسين النموذج المشترك.
الفكرة الحدسية وراء الطريقة
تخيل مجموعة من الباحثين في مستشفيات مختلفة يدرس كل منهم سجلات المرضى التي لا يمكنه مشاركتها بسبب قوانين الخصوصية. بدلاً من تجميع السجلات في قاعدة بيانات واحدة، يقوم كل مستشفى بتدريب نسخة محلية من النموذج على مرضاه الخاصين، ثم يرسل فقط ملخصًا لما تعلمه - وليس السجلات نفسها - إلى منسق يمزج جميع الملخصات في نموذج واحد محسّن. لا تغادر بيانات المريض أبدًا مؤسستها المصدر، ومع ذلك يتم التقاط الذكاء الجماعي لكل مستشفى.
التاريخ
تم تقديم المصطلح والإطار بواسطة McMahan وآخرون في Google في عام 2017، مدفوعين بالحاجة إلى تدريب نماذج اللغة على الأجهزة المحمولة دون تحميل النص الحساس. أظهر خوارزمية FedAvg الأساسية أن متوسط الأوزان المدربة محليًا فعال من حيث الاتصال وتنافسي مع التدريب المركزي. وسعت الأبحاث اللاحقة التعلم الاتحادي للتعامل مع البيانات غير المتجانسة (non-IID)، وإضافة ضمانات خصوصية تفاضلية رسمية، ودمج حساب الأطراف المتعددة الآمن للتجميع، وتطبيق النموذج على إعدادات عبر المستودعات مثل شبكات المستشفيات.
متى تُستخدم
استخدم التعلم الاتحادي عندما تكون بيانات التدريب موزعة عبر العديد من العملاء ولا يمكن مركزتها بسبب لوائح الخصوصية، أو قيود ملكية البيانات، أو تكاليف الاتصال - على سبيل المثال، لوحات مفاتيح الأجهزة المحمولة، أو التصوير الطبي عبر المستشفيات، أو شبكات أجهزة الاستشعار إنترنت الأشياء (IoT). تشمل الافتراضات الرئيسية وجود بيانات محلية كافية لكل عميل ومهمة مشتركة عبر جميع المشاركين. وهو أقل ملاءمة عندما تكون توزيعات بيانات العملاء غير متجانسة للغاية (non-IID)، أو تكون نطاق الاتصال محدودًا بشدة، أو عندما تكون هناك حاجة إلى ضمانات خصوصية رسمية قوية تتجاوز مجرد محلية البيانات (ضع في اعتبارك الجمع مع الخصوصية التفاضلية في هذه الحالة).
الحدود والاعتبارات
- يمكن أن يكون التقارب بطيئًا وغير مستقر عندما تكون توزيعات بيانات العملاء غير متجانسة للغاية (non-IID).
- يمكن أن يكون عبء الاتصال عبر العديد من الجولات كبيرًا على الشبكات ذات النطاق الترددي المنخفض.
- يمكن لتحديثات النموذج أن تسرب معلومات حول البيانات المحلية من خلال هجمات استنتاج التدرج أو هجمات استنتاج العضوية.
- المتعثرون والعملاء المتساقطون يعقدون التجميع المتزامن ويمكن أن يحيزوا النموذج العالمي.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يحافظ على خصوصية البيانات حسب التصميم: لا تغادر البيانات الأولية جهاز العميل أو المؤسسة أبدًا.
- يتوسع ليشمل ملايين الأجهزة الطرفية غير المتجانسة دون مركزية التخزين.
- يقلل تكاليف نقل البيانات لأن تحديثات النموذج فقط، وليس مجموعات البيانات، هي التي يتم نقلها.
- يمكّن التعلم من المجالات الحساسة (الرعاية الصحية، التمويل) حيث يكون مشاركة البيانات مقيدة قانونيًا.
التطبيقات
- التنبؤ بالكلمة التالية وتخصيص لوحة المفاتيح على الأجهزة المحمولة دون تحميل نص المستخدم.
- تدريب نماذج التصوير الطبي عبر المستشفيات التي لا يمكنها مشاركة سجلات المرضى.
- اكتشاف الاحتيال عبر البنوك التي تشارك أنماط السلوك ولكن ليس سجلات المعاملات.
- نماذج إدراك المركبات ذاتية القيادة المدربة عبر أسطول دون مركزية سجلات المستشعرات.
- مراقبة الصحة القابلة للارتداء التي تتعلم خطوط الأساس الشخصية مع الاحتفاظ بالبيانات البيومترية على الجهاز.
كيف يعمل
كيف يعمل
في بداية كل جولة اتصال، يختار الخادم مجموعة فرعية عشوائية من العملاء المتاحين وينقل أوزان النموذج العالمي الحالية إليهم. يضمن هذا البث أن يبدأ جميع العملاء المشاركين الحساب المحلي من نقطة بداية مشتركة، مما يتيح التجميع المتسق لاحقًا. اختيار مجموعة فرعية فقط بدلاً من جميع العملاء يحافظ على قابلية كل جولة للتطبيق حتى عندما يتم تسجيل الآلاف من الأجهزة.
الصيغة
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}يقوم كل عميل مختار بتشغيل خطوة واحدة أو أكثر من الانحدار التدرجي العشوائي (stochastic gradient descent) على مجموعة بياناته المحلية الخاصة باستخدام الأوزان العالمية المستلمة كنقطة بداية. يحسب العميل تدرج دالة الخسارة المحلية الخاصة به ويقوم بتحديث الأوزان وفقًا لذلك. فقط هذه الأوزان المحدثة - وليس التدرجات الأولية أو بيانات التدريب - يتم إعدادها للإرسال مرة أخرى إلى الخادم.
الصيغة
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)يجمع الخادم الأوزان المحدثة من جميع العملاء المشاركين ويحسب متوسطًا مرجحًا، حيث يتناسب مساهمة كل عميل مع حجم مجموعة بياناته المحلية بالنسبة إلى إجمالي البيانات عبر جميع المشاركين. تنتج هذه الخطوة من المتوسط الاتحادي (Federated Averaging - FedAvg) نموذجًا عالميًا جديدًا يدمج المعلومات من بيانات كل عميل الخاصة دون مغادرة أي بيانات أولية للأجهزة.
الصيغة
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^kيتم تقييم النموذج العالمي المجمع مقابل معيار التقارب، عادةً حد على الخسارة المتوقعة بالنسبة للخسارة المثلى. إذا لم يتم استيفاء المعيار بعد، يقوم الخادم بزيادة عداد الجولة ويبث النموذج العالمي المحدث إلى مجموعة فرعية جديدة من العملاء، ويكرر الدورة حتى يتقارب النموذج أو يتم الوصول إلى الحد الأقصى لعدد الجولات.
الصيغة
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilonالأخطاء الشائعة
- افتراض أن التدريب الاتحادي وحده كافٍ للخصوصية: بدون آليات إضافية مثل الخصوصية التفاضلية أو التجميع الآمن، تظل تحديثات النموذج عرضة للخطر.
- تجاهل عدم تجانس البيانات: تطبيق FedAvg العادي على بيانات شديدة عدم التجانس (non-IID) غالبًا ما يؤدي إلى انحراف العميل وأداء ضعيف للنموذج العالمي.
- إغفال العملاء البيزنطيين أو الخبيثين: يمكن لجزء صغير من المشاركين المعادين إفساد النموذج المجمع إذا لم يتم تطبيق تجميع قوي.
- اعتبار جولات الاتصال مجانية: يمكن أن تفوق التكلفة التراكمية للعديد من الجولات عبر الروابط البطيئة فائدة اللامركزية.
الأسئلة الشائعة
هل يضمن التعلم الاتحادي خصوصية كاملة؟
ليس بمفرده. في حين أن البيانات الأولية لا تغادر أبدًا أجهزة العملاء، إلا أن تحديثات النموذج (التدرجات) لا تزال قادرة على تسريب المعلومات من خلال استنتاج التدرج أو هجمات استنتاج العضوية. يجمع التعلم الاتحادي مع إضافة ضوضاء الخصوصية التفاضلية وبروتوكولات التجميع الآمن يعزز بشكل كبير ضمانات الخصوصية، ولكن كل طبقة تضيف مقايضاتها الخاصة من حيث الدقة أو الاتصال.
كيف يتعامل التعلم الاتحادي مع البيانات غير المتجانسة (non-IID) عبر العملاء؟
يمكن لـ FedAvg القياسي أن يتباعد عندما تختلف توزيعات بيانات العملاء بشكل حاد عن بعضها البعض - وهي ظاهرة تسمى انحراف العميل (client drift). تشمل العلاجات زيادة أحجام الدُفعات المحلية، وتقليل الدورات المحلية، وتطبيق متغيرات التعلم الاتحادي المخصصة (مثل FedProx أو SCAFFOLD)، أو استخدام زخم من جانب الخادم. تعتمد الشدة على درجة عدم التجانس الإحصائي عبر العملاء.
كم عدد العملاء والجولات المطلوبة عادةً للتقارب؟
أظهر McMahan وآخرون أنه حتى مع جزء صغير من العملاء الذين يتم أخذ عينات منهم في كل جولة (على سبيل المثال، 10 من أصل 100)، يتقارب FedAvg في غضون عشرات إلى مئات الجولات للمهام القياسية. في الممارسة العملية، يعتمد العدد على حجم مجموعة البيانات لكل عميل، ودرجة عدم التجانس (non-IID-ness)، ومعدل التعلم، وعدد خطوات التدرج المحلي التي يتم إجراؤها قبل كل تجميع.
طرق ذات صلة
المصادر
McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.
افتح مرجع المنشورتم النسخ.