Skip to content
Назад к результатам поиска

Активное обучение с федеративным обучением

Автор метода
Multiple authors (federated active learning emerged ~2020)
Год
2020s
Тип
Hybrid paradigm (active querying within distributed training)
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Федеративное активное обучение сочетает эффективность разметки активного обучения с децентрализацией федеративного обучения, сохраняющей конфиденциальность.

Общая глобальная модель обучается на распределенных клиентах, каждый из которых независимо ранжирует свои неразмеченные локальные данные и запрашивает метки только для наиболее информативных примеров, сохраняя необработанные данные на устройстве на протяжении всего процесса.

Интуиция метода

В стандартном федеративном обучении каждый клиент обучается на любых размеченных данных, которые у него уже есть, в то время как при активном обучении центральный оракул выбирает, какие примеры маркировать дальше. Федеративное активное обучение объединяет обе идеи: каждый клиент оценивает свой собственный неразмеченный пул локально, выбирает образцы, в которых модель наиболее неуверена, и отправляет только их разметчику. Никакие необработанные данные не покидают клиента. Затем глобальный сервер агрегирует локально обновленные модели, как и в стандартном федеративном обучении, так что глобальная модель улучшается за счет наиболее информативных новых меток без централизованного сбора исходных данных.

История

Федеративное обучение было формализовано МакМаханом и др. в 2017 году с алгоритмом FedAvg, обеспечивающим децентрализованное обучение моделей с сохранением конфиденциальности. Активное обучение имеет корни в литературе 1990-х годов по запросам по комитету и выборке по неопределенности. Их комбинация — федеративное активное обучение — стала активной исследовательской темой в начале 2020-х годов, обусловленной необходимостью снижения затрат на разметку в здравоохранении, мобильных приложениях и приложениях Интернета вещей, где данные не могут быть централизованы. Несколько групп независимо предложили фреймворки, сочетающие локальную оценку неопределенности с федеративной агрегацией, и эта область остается открытым исследовательским фронтом.

Когда применять

Используйте федеративное активное обучение, когда размеченные данные редки среди распределенных клиентов, разметка дорога или требует экспертных знаний в предметной области, а необработанные данные должны оставаться на устройстве по соображениям конфиденциальности, регулирования или пропускной способности — например, медицинские записи в больницах, данные пользователей на мобильных устройствах или потоки данных с IoT-датчиков. Оно особенно эффективно, когда распределения данных клиентов неоднородны (не IID) и бюджеты разметки малы. Не используйте его, когда все данные могут быть свободно централизованы (достаточно простого активного обучения), когда у клиентов не хватает вычислительных ресурсов для оценки своего пула, когда уровень шума в метках высок (выборка по неопределенности может использовать шумные метки) или когда задержка между раундами разметки является ограничивающим фактором.

Ограничения и замечания

  • Накладные расходы на связь за раунд умножаются на количество клиентов, сообщающих о выборе запросов.
  • Неоднородные распределения клиентов могут привести к тому, что выбор активного обучения будет смещен в сторону локальных минимумов глобальной функции потерь.
  • Синхронизация раундов разметки между распределенными клиентами вносит задержку и сложность в координации.
  • Оценка производительности модели затруднена без централизованного размеченного тестового набора.
  • Распределение бюджета разметки между клиентами требует тщательной настройки, чтобы избежать недофинансирования малых или нишевых клиентов.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Сохраняет конфиденциальность данных, оставляя необработанные образцы на устройстве и передавая только обновления модели.
  • Резко снижает стоимость разметки, запрашивая только наиболее информативные образцы за раунд.
  • Обрабатывает неоднородные распределения клиентов, которые ввели бы в заблуждение централизованный активный ученик.
  • Масштабируется горизонтально — больше клиентов обычно улучшают охват пространства неразмеченных данных.
  • Совместимо с дифференциальной конфиденциальностью и безопасной агрегацией для более строгих гарантий конфиденциальности.

Применение

  • Разметка медицинских изображений в больницах, где данные пациентов не могут быть переданы.
  • Персонализация на устройстве для мобильных клавиатур или распознавания речи с минимальной разметкой пользователем.
  • Обнаружение аномалий в промышленном Интернете вещей, где данные датчиков должны оставаться на периферийных узлах.
  • Распределенный мониторинг клинических испытаний, требующий федеративных, сохраняющих конфиденциальность обновлений модели.
  • Межведомственное дообучение NLP между организациями с проприетарными корпусами.
  • Классификация данных дистанционного зондирования, где спутниковые снимки хранятся в географически распределенных центрах обработки данных.

Как это работает

Как это работает

1

Инициализируется глобальная модель и транслируется всем участвующим клиентам. Это может быть модель, инициализированная случайным образом, или предварительно обученный контрольный объект, и она определяет общую отправную точку для раунда.

2

Каждый клиент применяет текущую глобальную модель к своему собственному пулу неразмеченных данных и вычисляет показатель информативности для каждого образца — например, энтропию предсказания, выборку по разнице или несогласие по комитету запросов — без передачи данных.

3

На основе показателей информативности каждый клиент выбирает бюджет наиболее неопределенных или наиболее репрезентативных неразмеченных примеров для разметки. Стратегия выбора балансирует исследование с бюджетом разметки, доступным за раунд.

4

Выбранные примеры (или только их идентификаторы плюс признаки, необходимые для разметки) отправляются человеку-оракулу или автоматическому разметчику. Метки возвращаются клиенту. Это единственный шаг, на котором какие-либо данные могут покинуть устройство, и в развертываниях с учетом конфиденциальности только оракул получает их.

5

Каждый клиент дообучает глобальную модель на своих новых размеченных примерах — и, по желанию, на своем существующем размеченном наборе — используя стандартную локальную оптимизацию SGD или Adam в течение фиксированного числа локальных эпох.

6

Клиенты загружают свои обновления модели (градиенты или разницу весов, а не данные) на сервер. Сервер агрегирует эти обновления, обычно с помощью FedAvg (взвешенное усреднение), для формирования обновленной глобальной модели, которая затем транслируется для начала следующего раунда.

Частые ошибки

  • Применение централизованной функции приобретения активного обучения напрямую без учета сдвига распределения между клиентами — локальные оценки неопределенности могут не отражать глобальную неопределенность модели.
  • Игнорирование затрат на связь при разработке бюджета запросов: запрос меток для слишком большого количества образцов на клиента за раунд может перегрузить конвейеры разметки.
  • Рассмотрение глобальной модели как сошедшейся после слишком малого числа раундов федерации перед запросом, что приводит к плохо откалиброванным оценкам неопределенности.
  • Пренебрежение отстающими — медленными или периодически доступными клиентами — которые могут сместить агрегацию в сторону распределений более быстрых клиентов.
  • Предположение о IID-данных клиентов при применении агрегации FedAvg, что приводит к расхождению при сильной неоднородности распределений клиентов.

Часто задаваемые вопросы

Чем федеративное активное обучение отличается от стандартного федеративного обучения?

Стандартное федеративное обучение обучается только на размеченных данных, которые уже есть у клиентов. Федеративное активное обучение добавляет шаг активного запроса: каждый клиент оценивает свой неразмеченный пул и выбирает наиболее информативные примеры для разметки, позволяя глобальной модели улучшаться при гораздо меньшем общем количестве меток.

Какую функцию приобретения следует использовать для локальной оценки?

Выборка по энтропии (выбор примеров с наибольшей энтропией предсказания) является наиболее распространенной отправной точкой и хорошо работает, когда локальная модель достаточно откалибрована. Выборка по разнице и BALD (байесовское активное обучение по несогласию) являются хорошими альтернативами, когда калибровка неопределенности в рамках федерации вызывает озабоченность.

Можно ли комбинировать федеративное активное обучение с дифференциальной конфиденциальностью?

Да. Механизмы дифференциальной конфиденциальности, такие как DP-SGD, могут применяться во время локального обучения, а безопасная агрегация может использоваться на стороне сервера. Бюджет конфиденциальности должен учитывать как обновления модели, так и любые метаданные о том, какие образцы были выбраны для запроса.

Что происходит, когда у клиентов очень разные объемы неразмеченных данных?

Клиенты с большими неразмеченными пулами будут доминировать в бюджете запросов, если каждый получит одинаковую абсолютную квоту. Пропорциональное или адаптивное распределение бюджета — масштабирование бюджета разметки каждого клиента по размеру или предполагаемой информативности его пула — смягчает этот дисбаланс.

Сколько раундов федерации обычно требуется, прежде чем активный запрос станет полезным?

Это зависит от начального качества модели. Начинать как минимум с нескольких раундов стандартного федеративного обучения с имеющимися размеченными данными улучшает калибровку оценок неопределенности перед включением активного запроса. Холодный старт запроса со случайно инициализированной моделью может привести к пустой трате бюджета разметки на неинформативные образцы.

Похожие методы

Источники

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    Открыть ссылку на публикацию
    Скопировано.
  2. Federated learning. Wikipedia.

    Открыть ссылку на публикацию
    Скопировано.