Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فعال فدرال

معرفی‌شده توسط
Multiple authors (federated active learning emerged ~2020)
سال
2020s
نوع
Hybrid paradigm (active querying within distributed training)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال فدرال، کارایی حاشیه‌نویسی یادگیری فعال را با تمرکززدایی حفظ‌کننده حریم خصوصی یادگیری فدرال ترکیب می‌کند. یک مدل سراسری مشترک در میان کلاینت‌های توزیع‌شده آموزش داده می‌شود، که هر کدام به‌طور مستقل داده‌های محلی بدون برچسب خود را رتبه‌بندی کرده و فقط برای آموزنده‌ترین مثال‌ها درخواست برچسب می‌کنند و در تمام طول فرآیند، داده‌های خام را روی دستگاه نگه می‌دارند.

شهود پشت روش

در یادگیری فدرال استاندارد، هر کلاینت روی هر داده برچسب‌دار موجود خود آموزش می‌بیند، در حالی که در یادگیری فعال، یک اوراکل مرکزی انتخاب می‌کند که کدام مثال‌ها را برای برچسب‌گذاری بعدی انتخاب کند. یادگیری فعال فدرال هر دو ایده را ادغام می‌کند: هر کلاینت مجموعه داده بدون برچسب خود را به‌صورت محلی امتیازدهی می‌کند، نمونه‌هایی را که مدل بیشترین عدم قطعیت را در مورد آن‌ها دارد انتخاب می‌کند و فقط این‌ها را به یک برچسب‌زننده ارسال می‌کند. هیچ داده خام از کلاینت خارج نمی‌شود. سرور سراسری سپس مدل‌های به‌روز شده محلی را دقیقاً مانند یادگیری فدرال استاندارد تجمیع می‌کند، بنابراین مدل سراسری بدون جمع‌آوری مرکزی داده‌های زیربنایی، از آموزنده‌ترین برچسب‌های جدید بهبود می‌یابد.

تاریخ

یادگیری فدرال توسط مک‌ماهان و همکاران در سال ۲۰۱۷ با الگوریتم FedAvg رسمی شد و آموزش مدل غیرمتمرکز حفظ‌کننده حریم خصوصی را ممکن ساخت. یادگیری فعال ریشه‌هایی در ادبیات کمیته پرس‌وجو و نمونه‌برداری عدم قطعیت در دهه ۱۹۹۰ دارد. ترکیب آن‌ها — یادگیری فعال فدرال — به عنوان یک موضوع تحقیقاتی فعال در اوایل دهه ۲۰۲۰ ظهور کرد، که با نیاز به کاهش هزینه‌های حاشیه‌نویسی در برنامه‌های مراقبت‌های بهداشتی، موبایل و IoT که در آن‌ها داده‌ها قابل تمرکز نیستند، هدایت می‌شود. چندین گروه به‌طور مستقل چارچوب‌هایی را پیشنهاد کردند که تخمین عدم قطعیت محلی را با تجمیع فدرال ترکیب می‌کنند، و این حوزه همچنان یک مرز تحقیقاتی باز باقی مانده است.

چه زمانی استفاده شود

هنگامی که داده‌های برچسب‌دار در میان کلاینت‌های توزیع‌شده کمیاب هستند، حاشیه‌نویسی پرهزینه است یا به تخصص دامنه نیاز دارد، و داده‌های خام باید به دلایل حریم خصوصی، نظارتی یا پهنای باند روی دستگاه باقی بمانند — برای مثال، سوابق پزشکی در میان بیمارستان‌ها، داده‌های کاربر در دستگاه‌های تلفن همراه، یا جریان‌های حسگر IoT. این روش به‌ویژه زمانی قدرتمند است که توزیع داده‌های کلاینت ناهمگن (غیر IID) باشد و بودجه‌های حاشیه‌نویسی کوچک باشند. زمانی که تمام داده‌ها را بتوان آزادانه متمرکز کرد (یادگیری فعال ساده کافی است)، زمانی که کلاینت‌ها فاقد توان محاسباتی برای امتیازدهی مجموعه داده خود هستند، زمانی که نویز برچسب بالا است (نمونه‌برداری عدم قطعیت می‌تواند از برچسب‌های پرنویز سوءاستفاده کند)، یا زمانی که تأخیر بین دورهای حاشیه‌نویسی یک محدودیت است، از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • سربار ارتباطی در هر دور با تعداد کلاینت‌هایی که انتخاب‌های پرس‌وجو را گزارش می‌کنند، ضرب می‌شود.
  • توزیع‌های ناهمگن کلاینت می‌توانند باعث شوند انتخاب یادگیری فعال به سمت حداقل‌های محلی تابع زیان سراسری سوگیری داشته باشد.
  • همگام‌سازی دورهای حاشیه‌نویسی در میان کلاینت‌های توزیع‌شده، تأخیر و پیچیدگی هماهنگی را معرفی می‌کند.
  • ارزیابی عملکرد مدل بدون مجموعه داده آزمون برچسب‌دار متمرکز دشوارتر است.
  • تخصیص بودجه حاشیه‌نویسی در میان کلاینت‌ها نیاز به تنظیم دقیق دارد تا از محرومیت کلاینت‌های کوچک یا اقلیت جلوگیری شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • با نگه داشتن نمونه‌های خام روی دستگاه و اشتراک‌گذاری فقط به‌روزرسانی‌های مدل، حریم خصوصی داده‌ها را حفظ می‌کند.
  • با پرس‌وجو فقط از آموزنده‌ترین نمونه‌ها در هر دور، هزینه حاشیه‌نویسی را به‌طور چشمگیری کاهش می‌دهد.
  • توزیع‌های ناهمگن کلاینت را که یک یادگیرنده فعال متمرکز را گمراه می‌کنند، مدیریت می‌کند.
  • به صورت افقی مقیاس‌پذیر است — کلاینت‌های بیشتر معمولاً پوشش فضای بدون برچسب را بهبود می‌بخشند.
  • برای تضمین‌های حریم خصوصی قوی‌تر با حریم خصوصی تفاضلی و تجمیع امن سازگار است.

کاربردها

  • حاشیه‌نویسی تصویربرداری پزشکی در میان بیمارستان‌ها که در آن داده‌های بیمار قابل اشتراک‌گذاری نیستند.
  • شخصی‌سازی روی دستگاه برای صفحه‌کلیدهای موبایل یا تشخیص گفتار با حداقل حاشیه‌نویسی کاربر.
  • تشخیص ناهنجاری IoT صنعتی که در آن داده‌های حسگر باید در گره‌های لبه باقی بمانند.
  • نظارت بر کارآزمایی بالینی توزیع‌شده که نیازمند به‌روزرسانی‌های مدل فدرال و حفظ‌کننده حریم خصوصی است.
  • تنظیم دقیق NLP بین سازمانی در میان سازمان‌ها با مجموعه‌های داده اختصاصی.
  • طبقه‌بندی سنجش از دور که در آن تصاویر ماهواره‌ای در مراکز داده توزیع‌شده جغرافیایی ذخیره می‌شوند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مدل سراسری مقداردهی اولیه شده و به تمام کلاینت‌های شرکت‌کننده پخش می‌شود. این می‌تواند یک مدل مقداردهی اولیه شده تصادفی یا یک چک‌پوینت از پیش آموزش‌دیده باشد و نقطه شروع مشترک برای دور را تعریف می‌کند.

2

هر کلاینت مدل سراسری فعلی را بر روی مجموعه داده محلی بدون برچسب خود اعمال کرده و یک امتیاز اطلاع‌رسانی برای هر نمونه محاسبه می‌کند — برای مثال، آنتروپی پیش‌بینی، نمونه‌برداری حاشیه، یا عدم توافق پرس‌وجو بر اساس کمیته — بدون انتقال داده‌ها.

3

بر اساس امتیازات اطلاع‌رسانی، هر کلاینت مجموعه‌ای از آموزنده‌ترین یا نماینده‌ترین مثال‌های بدون برچسب را برای حاشیه‌نویسی انتخاب می‌کند. استراتژی انتخاب، اکتشاف را با بودجه حاشیه‌نویسی موجود در هر دور متعادل می‌کند.

4

مثال‌های انتخاب شده (یا فقط شناسه‌های آن‌ها به همراه ویژگی‌های لازم برای حاشیه‌نویسی) به یک اوراکل انسانی یا برچسب‌زننده خودکار ارسال می‌شوند. برچسب‌ها به کلاینت بازگردانده می‌شوند. این تنها مرحله‌ای است که در آن هر داده‌ای ممکن است دستگاه را ترک کند، و در استقرارهای حساس به حریم خصوصی، فقط اوراکل آن‌ها را دریافت می‌کند.

5

هر کلاینت مدل سراسری را بر روی مثال‌های جدید حاشیه‌نویسی شده خود — و به‌طور اختیاری بر روی مجموعه داده برچسب‌دار موجود خود — با استفاده از بهینه‌سازی استاندارد محلی SGD یا Adam برای تعداد ثابتی از دوره‌های محلی، تنظیم دقیق می‌کند.

6

کلاینت‌ها به‌روزرسانی‌های مدل خود (گرادیان‌ها یا دلتاهای وزن، نه داده‌ها) را به سرور آپلود می‌کنند. سرور این به‌روزرسانی‌ها را، معمولاً از طریق FedAvg (میانگین‌گیری وزن‌دار)، برای تشکیل مدل سراسری به‌روز شده تجمیع می‌کند، که سپس برای شروع دور بعدی به همه کلاینت‌ها پخش می‌شود.

دام‌های رایج

  • اعمال مستقیم تابع اکتساب یادگیری فعال متمرکز بدون در نظر گرفتن تغییر توزیع بین کلاینت‌ها — تخمین‌های عدم قطعیت محلی ممکن است عدم قطعیت مدل سراسری را منعکس نکنند.
  • نادیده گرفتن هزینه‌های ارتباطی هنگام طراحی بودجه پرس‌وجو: درخواست برچسب برای تعداد زیادی نمونه در هر کلاینت در هر دور می‌تواند خطوط لوله حاشیه‌نویسی را تحت تأثیر قرار دهد.
  • در نظر گرفتن مدل سراسری به عنوان همگرا شده پس از تعداد کمی دور فدراسیون قبل از پرس‌وجو، منجر به نمرات عدم قطعیت ضعیف کالیبره شده می‌شود.
  • نادیده گرفتن کلاینت‌های کند — کلاینت‌های کند یا در دسترس متناوب — که می‌توانند تجمیع را به سمت توزیع‌های کلاینت‌های سریع‌تر سوگیری دهند.
  • فرض کردن داده‌های کلاینت IID هنگام اعمال تجمیع FedAvg، که منجر به واگرایی در زمانی می‌شود که توزیع‌های کلاینت بسیار ناهمگن هستند.

پرسش‌های متداول

یادگیری فعال فدرال چگونه با یادگیری فدرال استاندارد متفاوت است؟

یادگیری فدرال استاندارد فقط بر روی داده‌های برچسب‌دار موجود در کلاینت‌ها آموزش می‌بیند. یادگیری فعال فدرال یک مرحله پرس‌وجوی فعال را اضافه می‌کند: هر کلاینت مجموعه داده بدون برچسب خود را امتیازدهی کرده و آموزنده‌ترین مثال‌ها را برای حاشیه‌نویسی انتخاب می‌کند، که به مدل سراسری اجازه می‌دهد با تعداد بسیار کمتری برچسب کلی بهبود یابد.

از کدام تابع اکتساب باید برای امتیازدهی محلی استفاده کنم؟

نمونه‌برداری آنتروپی (انتخاب مثال‌هایی با بالاترین آنتروپی پیش‌بینی) رایج‌ترین نقطه شروع است و زمانی که مدل محلی به‌طور منطقی کالیبره شده باشد، به‌خوبی کار می‌کند. نمونه‌برداری حاشیه و BALD (یادگیری فعال بیزی بر اساس عدم توافق) جایگزین‌های خوبی هستند زمانی که کالیبراسیون عدم قطعیت در سراسر فدراسیون یک نگرانی است.

آیا یادگیری فعال فدرال را می‌توان با حریم خصوصی تفاضلی ترکیب کرد؟

بله. مکانیسم‌های حریم خصوصی تفاضلی مانند DP-SGD را می‌توان در طول آموزش محلی اعمال کرد و تجمیع امن را می‌توان در سمت سرور استفاده کرد. بودجه حریم خصوصی باید هم به‌روزرسانی‌های مدل و هم هرگونه فراداده مربوط به اینکه کدام نمونه‌ها برای پرس‌وجو انتخاب شده‌اند را در نظر بگیرد.

وقتی کلاینت‌ها مقادیر بسیار متفاوتی از داده‌های بدون برچسب دارند چه اتفاقی می‌افتد؟

کلاینت‌های با مجموعه داده‌های بدون برچسب بزرگ، بودجه پرس‌وجو را تسلط خواهند داد اگر هر کدام سهمیه مطلق یکسانی دریافت کنند. تخصیص بودجه متناسب یا تطبیقی — مقیاس‌بندی بودجه حاشیه‌نویسی هر کلاینت بر اساس اندازه یا اطلاع‌رسانی تخمینی مجموعه داده آن — این عدم تعادل را کاهش می‌دهد.

معمولاً چند دور فدراسیون قبل از اینکه پرس‌وجوی فعال مفید باشد، لازم است؟

بستگی به کیفیت اولیه مدل دارد. شروع با حداقل چند دور آموزش فدرال استاندارد با داده‌های برچسب‌دار موجود، کالیبراسیون تخمین‌های عدم قطعیت را قبل از فعال کردن پرس‌وجوی فعال بهبود می‌بخشد. پرس‌وجوی شروع سرد با یک مدل اولیه تصادفی می‌تواند بودجه حاشیه‌نویسی را برای نمونه‌های غیر آموزنده هدر دهد.

روش‌های مرتبط

منابع

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    باز کردن مرجع انتشار
    کپی شد.
  2. Federated learning. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.