Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فدرال

معرفی‌شده توسط
McMahan et al.
سال
2017
نوع
Distributed privacy-preserving machine learning
خانواده
Privacy-preserving analysis

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فدرال (Federated Learning) یک پارادایم یادگیری ماشین توزیع‌شده است که در سال ۲۰۱۷ توسط McMahan و همکاران معرفی شد. در این روش، یک مدل سراسری به صورت مشارکتی در میان چندین کلاینت غیرمتمرکز – مانند دستگاه‌های موبایل یا سیستم‌های بیمارستانی – آموزش داده می‌شود، بدون اینکه داده‌های خام به یک سرور مرکزی منتقل شوند. هر شرکت‌کننده به‌صورت محلی با استفاده از داده‌های خصوصی خود، به‌روزرسانی‌های مدل را محاسبه می‌کند؛ تنها این به‌روزرسانی‌ها، نه داده‌های زیربنایی، توسط سرور برای بهبود مدل مشترک، منتقل و تجمیع می‌شوند.

شهود پشت روش

تصور کنید گروهی از پژوهشگران در بیمارستان‌های مختلف هر کدام در حال مطالعه سوابق بیماران هستند که به دلیل قوانین حریم خصوصی قادر به اشتراک‌گذاری آن‌ها نیستند. به جای تجمیع سوابق در یک پایگاه داده واحد، هر بیمارستان نسخه محلی مدل را بر روی بیماران خود آموزش می‌دهد، سپس تنها خلاصه‌ای از آنچه آموخته است – نه خود سوابق – را به یک هماهنگ‌کننده ارسال می‌کند که تمام خلاصه‌ها را در یک مدل بهبودیافته ترکیب می‌کند. هیچ داده‌ای از بیمار هرگز از مؤسسه مبدأ خود خارج نمی‌شود، اما هوش جمعی هر بیمارستان ثبت می‌شود.

تاریخ

این اصطلاح و چارچوب در سال ۲۰۱۷ توسط McMahan و همکاران در گوگل معرفی شد، با انگیزه نیاز به آموزش مدل‌های زبان بر روی دستگاه‌های موبایل بدون بارگذاری متن حساس. الگوریتم بنیادی FedAvg نشان داد که میانگین‌گیری وزن‌های آموزش‌دیده محلی هم از نظر ارتباطی کارآمد است و هم با آموزش متمرکز رقابت می‌کند. تحقیقات بعدی یادگیری فدرال را برای مدیریت داده‌های non-IID، افزودن تضمین‌های رسمی حریم خصوصی تفاضلی، گنجاندن محاسبات چندجانبه امن برای تجمیع، و به‌کارگیری این پارادایم در تنظیمات بین سیلو (cross-silo) مانند شبکه‌های بیمارستانی گسترش داد.

چه زمانی استفاده شود

زمانی از یادگیری فدرال استفاده کنید که داده‌های آموزشی در میان کلاینت‌های متعدد توزیع شده‌اند و به دلیل مقررات حریم خصوصی، محدودیت‌های مالکیت داده یا هزینه‌های ارتباطی قابل تمرکز نیستند – برای مثال، صفحه‌کلیدهای موبایل، تصویربرداری پزشکی در میان بیمارستان‌ها، یا شبکه‌های حسگر اینترنت اشیا (IoT). مفروضات کلیدی شامل داده‌های محلی کافی در هر کلاینت و یک وظیفه مشترک در میان تمام شرکت‌کنندگان است. این روش زمانی کمتر مناسب است که توزیع داده‌های کلاینت‌ها بسیار ناهمگن (non-IID) باشد، پهنای باند ارتباطی به شدت محدود باشد، یا زمانی که تضمین‌های حریم خصوصی رسمی قوی فراتر از محلی بودن داده‌ها مورد نیاز باشد (در این صورت، ترکیب با حریم خصوصی تفاضلی را در نظر بگیرید).

محدودیت‌ها و ملاحظات

  • همگرایی می‌تواند در صورت ناهمگن بودن شدید توزیع داده‌های کلاینت‌ها (non-IID) کند و ناپایدار باشد.
  • سربار ارتباطی در طی دورهای متعدد می‌تواند در شبکه‌های با پهنای باند کم قابل توجه باشد.
  • به‌روزرسانی‌های مدل همچنان می‌توانند از طریق حملات وارونگی گرادیان یا استنتاج عضویت، اطلاعاتی را در مورد داده‌های محلی فاش کنند.
  • کلاینت‌های کند و قطع‌شده، تجمیع همزمان را پیچیده کرده و می‌توانند مدل سراسری را دچار اریب کنند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • حفظ حریم خصوصی داده‌ها از طریق طراحی: داده‌های خام هرگز دستگاه یا مؤسسه کلاینت را ترک نمی‌کنند.
  • مقیاس‌پذیری به میلیون‌ها دستگاه لبه ناهمگن بدون تمرکز ذخیره‌سازی.
  • کاهش هزینه‌های انتقال داده زیرا تنها به‌روزرسانی‌های مدل، نه مجموعه داده‌ها، منتقل می‌شوند.
  • امکان یادگیری از دامنه‌های حساس (بهداشت و درمان، مالی) که اشتراک‌گذاری داده‌ها در آن‌ها از نظر قانونی محدود شده است.

کاربردها

  • پیش‌بینی کلمه بعدی و شخصی‌سازی صفحه‌کلید در دستگاه‌های موبایل بدون بارگذاری متن کاربر.
  • آموزش مدل تصویربرداری پزشکی در میان بیمارستان‌هایی که نمی‌توانند سوابق بیمار را به اشتراک بگذارند.
  • تشخیص تقلب در میان بانک‌ها با اشتراک‌گذاری الگوهای رفتاری اما نه تاریخچه تراکنش‌ها.
  • آموزش مدل‌های ادراک خودروهای خودران در میان ناوگانی از خودروها بدون تمرکز گزارش‌های حسگر.
  • نظارت بر سلامت پوشیدنی که خطوط پایه شخصی را یاد می‌گیرد در حالی که داده‌های بیومتریک را بر روی دستگاه نگه می‌دارد.

چگونه کار می‌کند

چگونه کار می‌کند

1

در ابتدای هر دور ارتباطی، سرور زیرمجموعه‌ای تصادفی از کلاینت‌های موجود را انتخاب کرده و وزن‌های مدل سراسری فعلی را به آن‌ها منتقل می‌کند. این پخش تضمین می‌کند که تمام کلاینت‌های شرکت‌کننده از یک نقطه شروع مشترک، محاسبات محلی را آغاز کنند و امکان تجمیع منسجم را در مراحل بعدی فراهم می‌آورد. انتخاب تنها زیرمجموعه‌ای به جای همه کلاینت‌ها، حتی زمانی که هزاران دستگاه ثبت‌نام کرده‌اند، هر دور را قابل مدیریت نگه می‌دارد.

فرمول
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}
2

هر کلاینت انتخاب‌شده، یک یا چند مرحله از نزول گرادیان تصادفی (stochastic gradient descent) را بر روی مجموعه داده محلی خصوصی خود با استفاده از وزن‌های سراسری دریافتی به عنوان نقطه شروع، اجرا می‌کند. کلاینت گرادیان تابع زیان محلی خود را محاسبه کرده و وزن‌ها را بر اساس آن به‌روزرسانی می‌کند. تنها این وزن‌های به‌روزرسانی‌شده – نه گرادیان‌های خام یا داده‌های آموزشی – برای انتقال به سرور آماده می‌شوند.

فرمول
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)
3

سرور وزن‌های به‌روزرسانی‌شده را از تمام کلاینت‌های شرکت‌کننده جمع‌آوری کرده و میانگین وزنی را محاسبه می‌کند، که در آن سهم هر کلاینت متناسب با اندازه مجموعه داده محلی آن نسبت به کل داده‌ها در میان تمام شرکت‌کنندگان است. این مرحله میانگین‌گیری فدرال (Federated Averaging یا FedAvg) مدل سراسری جدیدی را تولید می‌کند که اطلاعاتی از داده‌های خصوصی هر کلاینت را بدون خروج هیچ داده خام از دستگاه‌ها، در بر می‌گیرد.

فرمول
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^k
4

مدل سراسری تجمیع‌شده بر اساس یک معیار همگرایی ارزیابی می‌شود، که معمولاً یک حد بالا برای زیان مورد انتظار نسبت به زیان بهینه است. اگر معیار هنوز برآورده نشده باشد، سرور شمارنده دور را افزایش داده و مدل سراسری به‌روزرسانی‌شده را به زیرمجموعه جدیدی از کلاینت‌ها ارسال می‌کند و چرخه را تکرار می‌کند تا زمانی که مدل همگرا شود یا حداکثر تعداد دورها سپری گردد.

فرمول
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilon

دام‌های رایج

  • فرض اینکه یادگیری فدرال به تنهایی برای حریم خصوصی کافی است: بدون مکانیسم‌های اضافی مانند حریم خصوصی تفاضلی یا تجمیع امن، به‌روزرسانی‌های مدل همچنان آسیب‌پذیر هستند.
  • نادیده گرفتن ناهمگنی داده‌ها: اعمال FedAvg استاندارد بر روی داده‌های به شدت non-IID اغلب منجر به انحراف کلاینت و عملکرد ضعیف مدل سراسری می‌شود.
  • نادیده گرفتن کلاینت‌های بایزانتین یا مخرب: کسری کوچک از شرکت‌کنندگان متخاصم می‌توانند مدل تجمیع‌شده را خراب کنند اگر از تجمیع مقاوم استفاده نشود.
  • در نظر گرفتن دورهای ارتباطی به عنوان رایگان: هزینه تجمعی دورهای متعدد بر روی لینک‌های کند می‌تواند بر مزیت عدم تمرکز غلبه کند.

پرسش‌های متداول

آیا یادگیری فدرال حریم خصوصی کامل را تضمین می‌کند؟

به تنهایی نه. در حالی که داده‌های خام هرگز از دستگاه‌های کلاینت خارج نمی‌شوند، به‌روزرسانی‌های مدل (گرادیان‌ها) همچنان می‌توانند از طریق حملات وارونگی گرادیان یا استنتاج عضویت اطلاعاتی را فاش کنند. ترکیب یادگیری فدرال با افزودن نویز حریم خصوصی تفاضلی و پروتکل‌های تجمیع امن، تضمین‌های حریم خصوصی را به طور قابل توجهی تقویت می‌کند، اما هر لایه، بده‌بستان‌های دقت یا ارتباطی خاص خود را اضافه می‌کند.

یادگیری فدرال چگونه داده‌های non-IID را در میان کلاینت‌ها مدیریت می‌کند؟

FedAvg استاندارد می‌تواند در صورت تفاوت شدید توزیع داده‌های کلاینت‌ها با یکدیگر واگرا شود – پدیده‌ای که انحراف کلاینت (client drift) نامیده می‌شود. راه‌حل‌ها شامل افزایش اندازه‌های دسته محلی (batch sizes)، کاهش دوره‌های محلی (local epochs)، به‌کارگیری انواع یادگیری فدرال شخصی‌سازی‌شده (مانند FedProx یا SCAFFOLD)، یا استفاده از شتاب‌دهنده سمت سرور (server-side momentum) است. شدت این مشکل به درجه ناهمگنی آماری در میان کلاینت‌ها بستگی دارد.

معمولاً چه تعداد کلاینت و دور برای همگرایی لازم است؟

McMahan و همکاران نشان دادند که حتی با کسری کوچک از کلاینت‌های نمونه‌برداری شده در هر دور (مثلاً ۱۰ از ۱۰۰)، FedAvg در عرض ده‌ها تا صدها دور برای وظایف استاندارد همگرا می‌شود. در عمل، این تعداد به اندازه مجموعه داده در هر کلاینت، درجه non-IID بودن، نرخ یادگیری، و تعداد مراحل گرادیان محلی انجام شده قبل از هر تجمیع بستگی دارد.

روش‌های مرتبط

منابع

  1. McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.

    باز کردن مرجع انتشار
    کپی شد.