Saltar al contenido
Volver a los resultados

Aprendizaje Activo Federado

Propuesto por
Multiple authors (federated active learning emerged ~2020)
Año
2020s
Tipo
Hybrid paradigm (active querying within distributed training)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Aprendizaje Activo Federado combina la eficiencia de anotación del aprendizaje activo con la descentralización que preserva la privacidad del aprendizaje federado.

Un modelo global compartido se entrena en clientes distribuidos, cada uno de los cuales clasifica de forma independiente sus datos locales no etiquetados y solicita etiquetas solo para los ejemplos más informativos, manteniendo los datos brutos en el dispositivo durante todo el proceso.

La intuición detrás del método

En el aprendizaje federado estándar, cada cliente entrena con los datos etiquetados que ya posee, mientras que en el aprendizaje activo un oráculo central elige qué ejemplos etiquetar a continuación. El Aprendizaje Activo Federado fusiona ambas ideas: cada cliente puntúa su propio conjunto de datos no etiquetados localmente, selecciona las muestras donde el modelo tiene mayor incertidumbre y envía solo estas a un etiquetador. Ningún dato bruto sale del cliente. El servidor global luego agrega los modelos actualizados localmente, tal como en el aprendizaje federado estándar, por lo que el modelo global mejora a partir de las nuevas etiquetas más informativas sin recopilar centralmente los datos subyacentes.

Historia

El aprendizaje federado fue formalizado por McMahan et al. en 2017 con el algoritmo FedAvg, permitiendo el entrenamiento de modelos descentralizados que preservan la privacidad. El aprendizaje activo tiene sus raíces en la literatura de consulta por comité y muestreo de incertidumbre de la década de 1990. Su combinación —Aprendizaje Activo Federado— surgió como un tema de investigación activo a principios de la década de 2020, impulsado por la necesidad de reducir los costos de etiquetado en aplicaciones de atención médica, móviles e IoT donde los datos no pueden ser centralizados. Múltiples grupos propusieron de forma independiente marcos que combinan la estimación de incertidumbre local con la agregación federada, y el área sigue siendo una frontera de investigación abierta.

Cuándo usarlo

Utilice Aprendizaje Activo Federado cuando los datos etiquetados sean escasos entre clientes distribuidos, el etiquetado sea costoso o requiera experiencia en el dominio, y los datos brutos deban permanecer en el dispositivo por razones de privacidad, regulatorias o de ancho de banda —por ejemplo, registros médicos entre hospitales, datos de usuario en dispositivos móviles o flujos de sensores IoT. Es particularmente potente cuando las distribuciones de datos de los clientes son heterogéneas (no IID) y los presupuestos de anotación son pequeños. No lo utilice cuando todos los datos se puedan centralizar libremente (el aprendizaje activo simple es suficiente), cuando los clientes carezcan de la capacidad de cómputo para puntuar su propio conjunto de datos, cuando el ruido de las etiquetas sea alto (el muestreo de incertidumbre puede explotar etiquetas ruidosas) o cuando la latencia entre rondas de etiquetado sea una restricción limitante.

Limitaciones y consideraciones

  • El sobrecosto de comunicación por ronda se multiplica por el número de clientes que informan las selecciones de consulta.
  • Las distribuciones de clientes no IID pueden hacer que la selección de aprendizaje activo esté sesgada hacia mínimos locales de la pérdida global.
  • La sincronización de las rondas de anotación entre clientes distribuidos introduce latencia y complejidad de coordinación.
  • Evaluar el rendimiento del modelo es más difícil sin un conjunto de prueba etiquetado centralizado.
  • La asignación del presupuesto de anotación entre clientes requiere una cuidadosa sintonización para evitar desatender a clientes pequeños o minoritarios.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Preserva la privacidad de los datos al mantener las muestras brutas en el dispositivo y solo compartir actualizaciones del modelo.
  • Reduce drásticamente el costo de etiquetado al consultar solo las muestras más informativas por ronda.
  • Maneja distribuciones heterogéneas de clientes que desorientarían a un aprendiz activo centralizado.
  • Escala horizontalmente: más clientes suelen mejorar la cobertura del espacio no etiquetado.
  • Compatible con privacidad diferencial y agregación segura para garantías de privacidad más sólidas.

Aplicaciones

  • Anotación de imágenes médicas entre hospitales donde los datos del paciente no pueden ser compartidos.
  • Personalización en el dispositivo para teclados móviles o reconocimiento de voz con un etiquetado mínimo del usuario.
  • Detección de anomalías en IoT industrial donde los datos del sensor deben permanecer en los nodos de borde.
  • Monitorización distribuida de ensayos clínicos que requiere actualizaciones de modelos federadas y que preservan la privacidad.
  • Ajuste fino de NLP entre silos en organizaciones con corpus propietarios.
  • Clasificación de teledetección donde las imágenes satelitales se almacenan en centros de datos geográficamente distribuidos.

Cómo funciona

Cómo funciona

1

Se inicializa un modelo global y se difunde a todos los clientes participantes. Puede ser un modelo inicializado aleatoriamente o un punto de control preentrenado, y define el punto de partida compartido para la ronda.

2

Cada cliente aplica el modelo global actual a su propio conjunto de datos locales no etiquetados y calcula una puntuación de informatividad para cada muestra —por ejemplo, entropía de predicción, muestreo de margen o desacuerdo de consulta por comité— sin transmitir los datos.

3

Basándose en las puntuaciones de informatividad, cada cliente selecciona un presupuesto de los ejemplos no etiquetados más inciertos o más representativos para ser anotados. La estrategia de selección equilibra la exploración con el presupuesto de anotación disponible por ronda.

4

Los ejemplos seleccionados (o solo sus identificadores más las características necesarias para el etiquetado) se envían a un oráculo humano o etiquetador automático. Las etiquetas se devuelven al cliente. Este es el único paso en el que cualquier dato puede salir del dispositivo, y en implementaciones sensibles a la privacidad, solo el oráculo los recibe.

5

Cada cliente ajusta el modelo global con sus nuevos ejemplos etiquetados —y opcionalmente con su conjunto etiquetado existente— utilizando optimización SGD local estándar o Adam durante un número fijo de épocas locales.

6

Los clientes cargan sus actualizaciones de modelo (gradientes o deltas de peso, no datos) al servidor. El servidor agrega estas actualizaciones, típicamente a través de FedAvg (promedio ponderado), para formar el modelo global actualizado, que luego se difunde para iniciar la siguiente ronda.

Errores comunes

  • Aplicar una función de adquisición de aprendizaje activo centralizada directamente sin tener en cuenta el cambio de distribución entre clientes —las estimaciones de incertidumbre local pueden no reflejar la incertidumbre del modelo global.
  • Ignorar los costos de comunicación al diseñar el presupuesto de consulta: solicitar etiquetas para demasiadas muestras por cliente por ronda puede abrumar los flujos de trabajo de anotación.
  • Tratar el modelo global como convergido después de muy pocas rondas de federación antes de consultar, lo que lleva a puntuaciones de incertidumbre mal calibradas.
  • No tener en cuenta a los rezagados —clientes lentos o intermitentemente disponibles— que pueden sesgar la agregación hacia las distribuciones de los clientes más rápidos.
  • Asumir datos de clientes IID al aplicar la agregación FedAvg, lo que provoca divergencia cuando las distribuciones de clientes son muy heterogéneas.

Preguntas frecuentes

¿En qué se diferencia el Aprendizaje Activo Federado del Aprendizaje Federado estándar?

El Aprendizaje Federado estándar entrena solo con los datos etiquetados que los clientes ya poseen. El Aprendizaje Activo Federado añade un paso de consulta activa: cada cliente puntúa su conjunto de datos no etiquetados y selecciona los ejemplos más informativos para ser anotados, permitiendo que el modelo global mejore con muchas menos etiquetas en total.

¿Qué función de adquisición debo usar para la puntuación local?

El muestreo por entropía (elegir ejemplos con la mayor entropía predictiva) es el punto de partida más común y funciona bien cuando el modelo local está razonablemente calibrado. El muestreo por margen y BALD (Aprendizaje Activo Bayesiano por Desacuerdo) son buenas alternativas cuando la calibración de la incertidumbre en toda la federación es una preocupación.

¿Se puede combinar el Aprendizaje Activo Federado con la privacidad diferencial?

Sí. Se pueden aplicar mecanismos de privacidad diferencial como DP-SGD durante el entrenamiento local, y se puede usar agregación segura en el lado del servidor. El presupuesto de privacidad debe tener en cuenta tanto las actualizaciones del modelo como cualquier metadato sobre qué muestras se seleccionaron para la consulta.

¿Qué sucede cuando los clientes tienen cantidades muy diferentes de datos no etiquetados?

Los clientes con grandes conjuntos de datos no etiquetados dominarán el presupuesto de consulta si cada uno recibe una cuota absoluta igual. La asignación de presupuesto proporcional o adaptativa —escalar el presupuesto de anotación de cada cliente por el tamaño o la informatividad estimada de su conjunto de datos— mitiga este desequilibrio.

¿Cuántas rondas de federación se necesitan típicamente antes de que la consulta activa sea útil?

Depende de la calidad inicial del modelo. Comenzar con al menos unas pocas rondas de entrenamiento federado estándar con datos etiquetados disponibles mejora la calibración de las estimaciones de incertidumbre antes de activar la consulta activa. La consulta de arranque en frío con un modelo inicial aleatorio puede desperdiciar el presupuesto de anotación en muestras no informativas.

Métodos relacionados

Fuentes

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    Abrir referencia de la publicación
    Copiado.
  2. Federated learning. Wikipedia.

    Abrir referencia de la publicación
    Copiado.