Apprentissage Actif Fédéré
- Introduite par
- Multiple authors (federated active learning emerged ~2020)
- Année
- 2020s
- Type
- Hybrid paradigm (active querying within distributed training)
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'apprentissage actif fédéré combine l'efficacité d'annotation de l'apprentissage actif avec la décentralisation respectueuse de la vie privée de l'apprentissage fédéré.
Un modèle global partagé est entraîné sur des clients distribués, chacun classant indépendamment ses données locales non étiquetées et ne demandant des étiquettes que pour les exemples les plus informatifs, tout en gardant les données brutes sur l'appareil.
L’intuition derrière la méthode
Dans l'apprentissage fédéré standard, chaque client s'entraîne sur les données étiquetées dont il dispose, tandis que dans l'apprentissage actif, un oracle central choisit les exemples à étiqueter ensuite. L'apprentissage actif fédéré fusionne les deux idées : chaque client évalue son propre pool non étiqueté localement, sélectionne les échantillons pour lesquels le modèle est le plus incertain, et n'envoie que ceux-ci à un étiqueteur. Aucune donnée brute ne quitte le client. Le serveur global agrège ensuite les modèles mis à jour localement, comme dans l'apprentissage fédéré standard, de sorte que le modèle global s'améliore à partir des nouvelles étiquettes les plus informatives sans jamais collecter les données sous-jacentes de manière centralisée.
Histoire
L'apprentissage fédéré a été formalisé par McMahan et al. en 2017 avec l'algorithme FedAvg, permettant l'entraînement de modèles décentralisés respectueux de la vie privée. L'apprentissage actif trouve ses racines dans la littérature des années 1990 sur la requête par comité et l'échantillonnage d'incertitude. Leur combinaison — l'apprentissage actif fédéré — a émergé comme un sujet de recherche actif au début des années 2020, motivé par le besoin de réduire les coûts d'étiquetage dans les applications de santé, mobiles et IoT où les données ne peuvent pas être centralisées. Plusieurs groupes ont indépendamment proposé des cadres combinant l'estimation locale de l'incertitude avec l'agrégation fédérée, et le domaine reste une frontière de recherche ouverte.
Quand l’utiliser
Utilisez l'apprentissage actif fédéré lorsque les données étiquetées sont rares parmi les clients distribués, que l'étiquetage est coûteux ou nécessite une expertise du domaine, et que les données brutes doivent rester sur l'appareil pour des raisons de confidentialité, réglementaires ou de bande passante — par exemple, dossiers médicaux entre hôpitaux, données utilisateur sur appareils mobiles, ou flux de capteurs IoT. Il est particulièrement puissant lorsque les distributions de données des clients sont hétérogènes (non-IID) et que les budgets d'annotation sont faibles. Ne l'utilisez pas lorsque toutes les données peuvent être centralisées librement (l'apprentissage actif simple suffit), lorsque les clients manquent de puissance de calcul pour évaluer leur propre pool, lorsque le bruit d'étiquette est élevé (l'échantillonnage d'incertitude peut exploiter des étiquettes bruitées), ou lorsque la latence entre les rondes d'étiquetage est une contrainte contraignante.
Limites et points d’attention
- La surcharge de communication par ronde est multipliée par le nombre de clients signalant les sélections de requêtes.
- Les distributions non-IID des clients peuvent amener la sélection d'apprentissage actif à être biaisée vers les minima locaux de la perte globale.
- La synchronisation des rondes d'annotation entre les clients distribués introduit de la latence et de la complexité de coordination.
- L'évaluation des performances du modèle est plus difficile sans un ensemble de test étiqueté centralisé.
- L'allocation du budget d'annotation entre les clients nécessite un réglage minutieux pour éviter de négliger les clients petits ou minoritaires.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Préserve la confidentialité des données en gardant les échantillons bruts sur l'appareil et en ne partageant que les mises à jour du modèle.
- Réduit considérablement le coût d'étiquetage en interrogeant uniquement les échantillons les plus informatifs par ronde.
- Gère les distributions hétérogènes des clients qui induiraient en erreur un apprenant actif centralisé.
- Évolue horizontalement — plus de clients améliorent généralement la couverture de l'espace non étiqueté.
- Compatible avec la confidentialité différentielle et l'agrégation sécurisée pour des garanties de confidentialité plus fortes.
Applications
- Annotation d'imagerie médicale entre hôpitaux où les données des patients ne peuvent être partagées.
- Personnalisation sur appareil pour les claviers mobiles ou la reconnaissance vocale avec un minimum d'étiquetage utilisateur.
- Détection d'anomalies IoT industrielle où les données des capteurs doivent rester sur les nœuds périphériques.
- Surveillance distribuée d'essais cliniques nécessitant des mises à jour de modèle fédérées et respectueuses de la vie privée.
- Affinement NLP inter-silos entre organisations avec des corpus propriétaires.
- Classification de télédétection où l'imagerie satellite est stockée dans des centres de données géographiquement distribués.
Comment ça marche
Comment ça marche
Un modèle global est initialisé et diffusé à tous les clients participants. Il peut s'agir d'un modèle initialisé aléatoirement ou d'un point de contrôle pré-entraîné, et il définit le point de départ partagé pour la ronde.
Chaque client applique le modèle global actuel à son propre pool local non étiqueté et calcule un score d'informativité pour chaque échantillon — par exemple, l'entropie de prédiction, l'échantillonnage de marge, ou le désaccord de requête par comité — sans transmettre les données.
Sur la base des scores d'informativité, chaque client sélectionne un budget des exemples non étiquetés les plus incertains ou les plus représentatifs à annoter. La stratégie de sélection équilibre l'exploration avec le budget d'annotation disponible par ronde.
Les exemples sélectionnés (ou seulement leurs identifiants plus les caractéristiques nécessaires à l'étiquetage) sont envoyés à un oracle humain ou à un étiqueteur automatisé. Les étiquettes sont renvoyées au client. C'est la seule étape où des données peuvent quitter l'appareil, et dans les déploiements sensibles à la vie privée, seul l'oracle les reçoit.
Chaque client affine le modèle global sur ses exemples nouvellement étiquetés — et éventuellement sur son ensemble étiqueté existant — en utilisant l'optimisation SGD locale standard ou Adam pendant un nombre fixe d'époques locales.
Les clients téléchargent leurs mises à jour de modèle (gradients ou deltas de poids, pas de données) vers le serveur. Le serveur agrège ces mises à jour, généralement via FedAvg (moyenne pondérée), pour former le modèle global mis à jour, qui est ensuite diffusé pour commencer la ronde suivante.
Pièges courants
- Appliquer une fonction d'acquisition d'apprentissage actif centralisée directement sans tenir compte du décalage de distribution entre les clients — les estimations d'incertitude locales peuvent ne pas refléter l'incertitude du modèle global.
- Ignorer les coûts de communication lors de la conception du budget de requête : demander des étiquettes pour trop d'échantillons par client par ronde peut submerger les pipelines d'annotation.
- Considérer le modèle global comme convergé après trop peu de rondes de fédération avant l'interrogation, conduisant à des scores d'incertitude mal calibrés.
- Négliger les clients lents ou disponibles de manière intermittente (stragglers), ce qui peut biaiser l'agrégation vers les distributions des clients plus rapides.
- Supposer des données client IID lors de l'application de l'agrégation FedAvg, provoquant une divergence lorsque les distributions des clients sont très hétérogènes.
Questions fréquentes
En quoi l'apprentissage actif fédéré diffère-t-il de l'apprentissage fédéré standard ?
L'apprentissage fédéré standard ne s'entraîne que sur les données étiquetées que les clients possèdent déjà. L'apprentissage actif fédéré ajoute une étape d'interrogation active : chaque client évalue son pool non étiqueté et sélectionne les exemples les plus informatifs à annoter, permettant au modèle global de s'améliorer avec beaucoup moins d'étiquettes au total.
Quelle fonction d'acquisition dois-je utiliser pour l'évaluation locale ?
L'échantillonnage par entropie (choisir les exemples avec la plus haute entropie prédictive) est le point de départ le plus courant et fonctionne bien lorsque le modèle local est raisonnablement calibré. L'échantillonnage par marge et BALD (Bayesian Active Learning by Disagreement) sont de bonnes alternatives lorsque la calibration de l'incertitude dans la fédération est une préoccupation.
L'apprentissage actif fédéré peut-il être combiné avec la confidentialité différentielle ?
Oui. Des mécanismes de confidentialité différentielle tels que DP-SGD peuvent être appliqués pendant l'entraînement local, et l'agrégation sécurisée peut être utilisée côté serveur. Le budget de confidentialité doit tenir compte à la fois des mises à jour du modèle et de toute métadonnée concernant les échantillons sélectionnés pour l'interrogation.
Que se passe-t-il lorsque les clients ont des quantités très différentes de données non étiquetées ?
Les clients avec de grands pools non étiquetés domineront le budget de requête si chacun reçoit un quota absolu égal. Une allocation de budget proportionnelle ou adaptative — mettant à l'échelle le budget d'annotation de chaque client par la taille ou l'informativité estimée de son pool — atténue ce déséquilibre.
Combien de rondes de fédération sont généralement nécessaires avant que l'interrogation active n'aide ?
Cela dépend de la qualité initiale du modèle. Commencer avec au moins quelques rondes d'entraînement fédéré standard avec les données étiquetées disponibles améliore la calibration des estimations d'incertitude avant d'activer l'interrogation active. L'interrogation à froid avec un modèle initial aléatoire peut gaspiller le budget d'annotation sur des échantillons non informatifs.
Méthodes associées
Sources
Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
Ouvrir la référence de la publicationCopié.Federated learning. Wikipedia.
Ouvrir la référence de la publicationCopié.