Apprentissage semi-supervisé
- Introduite par
- Vapnik, V. N. and others (community of researchers, 1970s–2000s)
- Année
- 1970s–2006 (formalized)
- Type
- Learning paradigm
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'apprentissage semi-supervisé (SSL) est un paradigme d'apprentissage automatique qui entraîne des modèles en utilisant un petit ensemble d'exemples étiquetés conjointement avec un pool beaucoup plus large de données non étiquetées.
En tirant parti de la structure inhérente aux données non étiquetées, le SSL atteint une précision plus proche de celle des modèles entièrement supervisés tout en nécessitant beaucoup moins d'étiquettes manuelles coûteuses, ce qui le rend pratique lorsque l'étiquetage est coûteux, lent ou limité en ressources.
L’intuition derrière la méthode
Imaginez enseigner à un étudiant en lui donnant quelques exemples de manuels avec des réponses et une grande bibliothèque de problèmes non résolus. L'étudiant utilise les exemples résolus pour comprendre les modèles, puis utilise les problèmes non résolus pour affiner cette compréhension en observant quels exemples se regroupent ou partagent des structures similaires. Le SSL fonctionne de manière similaire : le modèle apprend les frontières de décision à partir des données étiquetées, puis utilise les données non étiquetées pour affiner ces frontières en supposant que les points voisins partagent probablement la même classe, ou que le manifold des données capture une structure significative. Le résultat est un modèle qui surpasse l'entraînement basé uniquement sur les étiquettes.
Histoire
L'apprentissage semi-supervisé en tant que domaine formel a émergé des travaux sur les SVM transductifs par Vapnik dans les années 1990 et la propagation d'étiquettes basée sur des graphes par Zhu et Ghahramani (2002). Le domaine a été consolidé par le volume de MIT Press édité par Chapelle, Scholkopf et Zien (2006), qui reste la référence canonique. L'apprentissage profond moderne a revitalisé le SSL grâce à des méthodes de régularisation de cohérence telles que MixMatch (2019) et FixMatch (2020), étendant le paradigme aux tâches d'images et de textes à grande échelle.
Quand l’utiliser
Utilisez l'apprentissage semi-supervisé lorsque vous disposez d'une abondance de données non étiquetées mais que l'étiquetage est coûteux, lent ou nécessite des connaissances expertes rares — courant en imagerie médicale, en traitement du langage naturel et dans les domaines scientifiques. Le SSL est approprié lorsque les données non étiquetées et étiquetées partagent la même distribution, lorsque l'hypothèse de cluster ou de manifold tient plausiblement, et lorsqu'un modèle de référence entièrement supervisé est déjà réalisable mais que sa précision est limitée par la rareté des étiquettes. N'utilisez PAS le SSL lorsque les données étiquetées et non étiquetées proviennent de distributions différentes (décalage de distribution) ; lorsque les données non étiquetées sont très rares ; lorsque la tâche est suffisamment simple pour qu'un petit ensemble étiqueté sature déjà la capacité du modèle ; ou lorsque l'erreur de pseudo-étiquette s'accumule plus rapidement que le modèle ne peut la corriger — comme cela se produit avec des sorties à haute entropie ou déséquilibrées.
Limites et points d’attention
- Les performances peuvent se dégrader en dessous du modèle de référence supervisé si les données non étiquetées violent l'hypothèse de cluster ou de lissage ou contiennent un décalage de distribution.
- L'erreur de pseudo-étiquette s'accumule au fil des itérations : des prédictions confiantes mais erronées corrompent l'entraînement ultérieur.
- Nécessite un réglage minutieux des seuils de confiance, de la force de régularisation et du rapport entre données étiquetées et non étiquetées.
- L'évaluation est plus difficile : l'ensemble non étiqueté ne doit jamais être utilisé pour la sélection du modèle, sauf s'il est strictement réservé.
- Le coût de calcul augmente avec les grands corpus non étiquetés, en particulier pour les méthodes basées sur des graphes qui nécessitent des similarités par paires.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Améliore considérablement la précision du modèle lorsque les données étiquetées sont rares mais que les données non étiquetées sont abondantes.
- Réduit le coût et le temps d'annotation, permettant un déploiement pratique dans des domaines nécessitant beaucoup d'étiquetage expert.
- Compatible avec presque tous les apprenants de base (réseaux neuronaux, forêts aléatoires, SVM, GP) via le pseudo-étiquetage ou des extensions basées sur des graphes.
- La propagation d'étiquettes et les méthodes basées sur des graphes fournissent une incertitude interprétable et une structure de voisinage.
- L'auto-entraînement et la régularisation de cohérence s'intègrent naturellement dans les pipelines d'entraînement standard avec une infrastructure minimale supplémentaire.
Applications
- Classification d'images médicales où les annotations expertes sont rares et les scans non étiquetés sont abondants.
- Tâches de traitement du langage naturel telles que l'analyse de sentiments et la reconnaissance d'entités nommées avec peu de documents étiquetés.
- Recherche sur la structure des protéines et la génomique où les étiquettes expérimentales sont coûteuses à acquérir.
- Contrôle qualité industriel utilisant un petit nombre d'images de défauts étiquetées et de nombreuses images de production non étiquetées.
- Reconnaissance vocale et classification audio lorsque seule une fraction des enregistrements peut être transcrite.
- Classification de contenu Web et catégorisation de documents avec de grands corpus explorés.
Comment ça marche
Comment ça marche
Rassemblez un jeu de données contenant un petit sous-ensemble étiqueté (typiquement quelques pour cent du total) et un grand sous-ensemble non étiqueté. Les exemples étiquetés doivent être représentatifs des classes ou des résultats d'intérêt. La qualité des données dans l'ensemble étiqueté a un effet disproportionné sur le modèle final.
Entraînez un modèle initial en utilisant uniquement les exemples étiquetés. Cela produit un classifieur ou un régresseur de référence avec une précision limitée en raison du petit pool d'étiquettes, mais il fournit le point de départ pour exploiter les données non étiquetées.
Appliquez le modèle initial aux données non étiquetées pour générer des pseudo-étiquettes — affectations de classe prédites ou distributions de probabilité douces. Les prédictions de haute confiance sont provisoirement acceptées comme étiquettes d'entraînement. Les algorithmes SSL courants diffèrent ici : l'auto-entraînement accepte les prédictions de confiance maximale, la propagation d'étiquettes diffuse les étiquettes via un graphe de similarité, et la régularisation de cohérence impose des prédictions stables sous des perturbations d'entrée.
Ré-entraînez le modèle en incorporant à la fois les données étiquetées d'origine et les exemples non étiquetés nouvellement pseudo-étiquetés. Ce processus peut être itératif : le modèle amélioré génère de meilleures pseudo-étiquettes, qui à leur tour améliorent encore le modèle. La régularisation ou les seuils de confiance protègent contre l'accumulation d'erreurs.
Évaluez le modèle final sur un ensemble de test étiqueté réservé à l'aide de métriques standard (précision, F1, AUC, MSE) qui n'ont jamais été exposées pendant l'entraînement ou le pseudo-étiquetage. Comparez avec un modèle de référence entièrement supervisé entraîné uniquement sur les étiquettes pour quantifier le gain apporté par les données non étiquetées.
Pièges courants
- Utilisation de données non étiquetées dont la distribution diffère de celle de l'ensemble étiqueté — le décalage de distribution est la cause la plus fréquente d'échec du SSL.
- Négliger un modèle de référence uniquement supervisé, rendant impossible de vérifier que les données non étiquetées ont réellement aidé.
- Définir les seuils de confiance trop bas, inondant l'ensemble d'entraînement avec des pseudo-étiquettes incorrectes.
- Évaluer sur le pool non étiqueté après le pseudo-étiquetage, ce qui gonfle les estimations de performance.
- Considérer le SSL comme sans hypothèse — la méthode n'aide que lorsque les hypothèses de lissage, de cluster ou de manifold sont respectées.
Questions fréquentes
Quelle est la différence entre l'apprentissage semi-supervisé et l'apprentissage auto-supervisé ?
L'apprentissage semi-supervisé utilise un petit ensemble d'étiquettes fournies par l'homme ainsi que des données non étiquetées pour améliorer une tâche supervisée. L'apprentissage auto-supervisé crée ses propres étiquettes à partir de la structure des données non étiquetées seules (par exemple, prédire des mots masqués) — aucune étiquette humaine n'est utilisée pendant le pré-entraînement, bien que les représentations apprises soient ensuite affinées sur des données étiquetées.
Quand l'apprentissage semi-supervisé nuit-il plutôt qu'il n'aide ?
Si les données non étiquetées proviennent d'une distribution différente de celle des données étiquetées, ou si les frontières de classe ne s'alignent pas avec les clusters naturels dans les données, le SSL peut introduire du bruit qui réduit la précision en dessous du modèle de référence supervisé. Comparez toujours avec un modèle uniquement supervisé.
Quel est l'algorithme SSL le plus simple à essayer en premier ?
L'auto-entraînement est le plus simple : entraînez sur les étiquettes, prédisez sur les données non étiquetées, ajoutez les prédictions de haute confiance comme données étiquetées, et ré-entraînez. Il fonctionne avec n'importe quel apprenant de base et sert de référence utile avant des méthodes plus complexes basées sur des graphes ou de régularisation de cohérence.
Quelle quantité de données étiquetées est généralement nécessaire ?
Il n'y a pas de réponse universelle, mais le SSL est le plus bénéfique lorsque les données étiquetées représentent 1 à 10 % de l'ensemble de données total. En dessous d'environ 10 à 50 exemples étiquetés par classe, même le SSL peut avoir du mal ; à ce stade, l'apprentissage actif pour prioriser les exemples à étiqueter peut être plus efficace.
L'apprentissage semi-supervisé peut-il être utilisé avec n'importe quel type de modèle ?
Oui. Le pseudo-étiquetage et l'auto-entraînement fonctionnent avec n'importe quel apprenant de base. Les méthodes basées sur des graphes telles que la propagation d'étiquettes sont indépendantes du modèle mais nécessitent le calcul de similarités par paires. Les méthodes de régularisation de cohérence sont le plus naturellement appliquées aux réseaux neuronaux mais peuvent être adaptées à d'autres modèles probabilistes.
Méthodes associées
Sources
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN : 978-0-262-03358-9Copié.Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.
Ouvrir la référence de la publicationCopié.