Активное обучение с федеративным обучением
- Автор метода
- Multiple authors (federated active learning emerged ~2020)
- Год
- 2020s
- Тип
- Hybrid paradigm (active querying within distributed training)
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Федеративное активное обучение сочетает эффективность разметки активного обучения с децентрализацией федеративного обучения, сохраняющей конфиденциальность.
Общая глобальная модель обучается на распределенных клиентах, каждый из которых независимо ранжирует свои неразмеченные локальные данные и запрашивает метки только для наиболее информативных примеров, сохраняя необработанные данные на устройстве на протяжении всего процесса.
Интуиция метода
В стандартном федеративном обучении каждый клиент обучается на любых размеченных данных, которые у него уже есть, в то время как при активном обучении центральный оракул выбирает, какие примеры маркировать дальше. Федеративное активное обучение объединяет обе идеи: каждый клиент оценивает свой собственный неразмеченный пул локально, выбирает образцы, в которых модель наиболее неуверена, и отправляет только их разметчику. Никакие необработанные данные не покидают клиента. Затем глобальный сервер агрегирует локально обновленные модели, как и в стандартном федеративном обучении, так что глобальная модель улучшается за счет наиболее информативных новых меток без централизованного сбора исходных данных.
История
Федеративное обучение было формализовано МакМаханом и др. в 2017 году с алгоритмом FedAvg, обеспечивающим децентрализованное обучение моделей с сохранением конфиденциальности. Активное обучение имеет корни в литературе 1990-х годов по запросам по комитету и выборке по неопределенности. Их комбинация — федеративное активное обучение — стала активной исследовательской темой в начале 2020-х годов, обусловленной необходимостью снижения затрат на разметку в здравоохранении, мобильных приложениях и приложениях Интернета вещей, где данные не могут быть централизованы. Несколько групп независимо предложили фреймворки, сочетающие локальную оценку неопределенности с федеративной агрегацией, и эта область остается открытым исследовательским фронтом.
Когда применять
Используйте федеративное активное обучение, когда размеченные данные редки среди распределенных клиентов, разметка дорога или требует экспертных знаний в предметной области, а необработанные данные должны оставаться на устройстве по соображениям конфиденциальности, регулирования или пропускной способности — например, медицинские записи в больницах, данные пользователей на мобильных устройствах или потоки данных с IoT-датчиков. Оно особенно эффективно, когда распределения данных клиентов неоднородны (не IID) и бюджеты разметки малы. Не используйте его, когда все данные могут быть свободно централизованы (достаточно простого активного обучения), когда у клиентов не хватает вычислительных ресурсов для оценки своего пула, когда уровень шума в метках высок (выборка по неопределенности может использовать шумные метки) или когда задержка между раундами разметки является ограничивающим фактором.
Ограничения и замечания
- Накладные расходы на связь за раунд умножаются на количество клиентов, сообщающих о выборе запросов.
- Неоднородные распределения клиентов могут привести к тому, что выбор активного обучения будет смещен в сторону локальных минимумов глобальной функции потерь.
- Синхронизация раундов разметки между распределенными клиентами вносит задержку и сложность в координации.
- Оценка производительности модели затруднена без централизованного размеченного тестового набора.
- Распределение бюджета разметки между клиентами требует тщательной настройки, чтобы избежать недофинансирования малых или нишевых клиентов.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Сохраняет конфиденциальность данных, оставляя необработанные образцы на устройстве и передавая только обновления модели.
- Резко снижает стоимость разметки, запрашивая только наиболее информативные образцы за раунд.
- Обрабатывает неоднородные распределения клиентов, которые ввели бы в заблуждение централизованный активный ученик.
- Масштабируется горизонтально — больше клиентов обычно улучшают охват пространства неразмеченных данных.
- Совместимо с дифференциальной конфиденциальностью и безопасной агрегацией для более строгих гарантий конфиденциальности.
Применение
- Разметка медицинских изображений в больницах, где данные пациентов не могут быть переданы.
- Персонализация на устройстве для мобильных клавиатур или распознавания речи с минимальной разметкой пользователем.
- Обнаружение аномалий в промышленном Интернете вещей, где данные датчиков должны оставаться на периферийных узлах.
- Распределенный мониторинг клинических испытаний, требующий федеративных, сохраняющих конфиденциальность обновлений модели.
- Межведомственное дообучение NLP между организациями с проприетарными корпусами.
- Классификация данных дистанционного зондирования, где спутниковые снимки хранятся в географически распределенных центрах обработки данных.
Как это работает
Как это работает
Инициализируется глобальная модель и транслируется всем участвующим клиентам. Это может быть модель, инициализированная случайным образом, или предварительно обученный контрольный объект, и она определяет общую отправную точку для раунда.
Каждый клиент применяет текущую глобальную модель к своему собственному пулу неразмеченных данных и вычисляет показатель информативности для каждого образца — например, энтропию предсказания, выборку по разнице или несогласие по комитету запросов — без передачи данных.
На основе показателей информативности каждый клиент выбирает бюджет наиболее неопределенных или наиболее репрезентативных неразмеченных примеров для разметки. Стратегия выбора балансирует исследование с бюджетом разметки, доступным за раунд.
Выбранные примеры (или только их идентификаторы плюс признаки, необходимые для разметки) отправляются человеку-оракулу или автоматическому разметчику. Метки возвращаются клиенту. Это единственный шаг, на котором какие-либо данные могут покинуть устройство, и в развертываниях с учетом конфиденциальности только оракул получает их.
Каждый клиент дообучает глобальную модель на своих новых размеченных примерах — и, по желанию, на своем существующем размеченном наборе — используя стандартную локальную оптимизацию SGD или Adam в течение фиксированного числа локальных эпох.
Клиенты загружают свои обновления модели (градиенты или разницу весов, а не данные) на сервер. Сервер агрегирует эти обновления, обычно с помощью FedAvg (взвешенное усреднение), для формирования обновленной глобальной модели, которая затем транслируется для начала следующего раунда.
Частые ошибки
- Применение централизованной функции приобретения активного обучения напрямую без учета сдвига распределения между клиентами — локальные оценки неопределенности могут не отражать глобальную неопределенность модели.
- Игнорирование затрат на связь при разработке бюджета запросов: запрос меток для слишком большого количества образцов на клиента за раунд может перегрузить конвейеры разметки.
- Рассмотрение глобальной модели как сошедшейся после слишком малого числа раундов федерации перед запросом, что приводит к плохо откалиброванным оценкам неопределенности.
- Пренебрежение отстающими — медленными или периодически доступными клиентами — которые могут сместить агрегацию в сторону распределений более быстрых клиентов.
- Предположение о IID-данных клиентов при применении агрегации FedAvg, что приводит к расхождению при сильной неоднородности распределений клиентов.
Часто задаваемые вопросы
Чем федеративное активное обучение отличается от стандартного федеративного обучения?
Стандартное федеративное обучение обучается только на размеченных данных, которые уже есть у клиентов. Федеративное активное обучение добавляет шаг активного запроса: каждый клиент оценивает свой неразмеченный пул и выбирает наиболее информативные примеры для разметки, позволяя глобальной модели улучшаться при гораздо меньшем общем количестве меток.
Какую функцию приобретения следует использовать для локальной оценки?
Выборка по энтропии (выбор примеров с наибольшей энтропией предсказания) является наиболее распространенной отправной точкой и хорошо работает, когда локальная модель достаточно откалибрована. Выборка по разнице и BALD (байесовское активное обучение по несогласию) являются хорошими альтернативами, когда калибровка неопределенности в рамках федерации вызывает озабоченность.
Можно ли комбинировать федеративное активное обучение с дифференциальной конфиденциальностью?
Да. Механизмы дифференциальной конфиденциальности, такие как DP-SGD, могут применяться во время локального обучения, а безопасная агрегация может использоваться на стороне сервера. Бюджет конфиденциальности должен учитывать как обновления модели, так и любые метаданные о том, какие образцы были выбраны для запроса.
Что происходит, когда у клиентов очень разные объемы неразмеченных данных?
Клиенты с большими неразмеченными пулами будут доминировать в бюджете запросов, если каждый получит одинаковую абсолютную квоту. Пропорциональное или адаптивное распределение бюджета — масштабирование бюджета разметки каждого клиента по размеру или предполагаемой информативности его пула — смягчает этот дисбаланс.
Сколько раундов федерации обычно требуется, прежде чем активный запрос станет полезным?
Это зависит от начального качества модели. Начинать как минимум с нескольких раундов стандартного федеративного обучения с имеющимися размеченными данными улучшает калибровку оценок неопределенности перед включением активного запроса. Холодный старт запроса со случайно инициализированной моделью может привести к пустой трате бюджета разметки на неинформативные образцы.
Похожие методы
Источники
Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
Открыть ссылку на публикациюСкопировано.Federated learning. Wikipedia.
Открыть ссылку на публикациюСкопировано.