Apprentissage métrique
- Introduite par
- Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
- Année
- 2003 (foundational); refined 2009 (LMNN)
- Type
- Representation learning / supervised distance optimization
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'apprentissage métrique est un cadre d'apprentissage automatique qui entraîne une fonction de distance ou de similarité à partir de données, de sorte que des exemples sémantiquement similaires se retrouvent proches dans l'espace appris, tandis que des exemples dissimilaires sont éloignés.
Contrairement aux distances fixes comme l'Euclidienne, la métrique apprise s'adapte à la structure de la tâche, rendant les classificateurs, les algorithmes de regroupement et les systèmes de recherche en aval significativement plus précis.
L’intuition derrière la méthode
Les distances standard comme l'Euclidienne traitent toutes les dimensions des caractéristiques de manière égale. Mais dans de nombreux problèmes, certaines caractéristiques sont beaucoup plus informatives que d'autres, et les dimensions pertinentes varient selon la classe. L'apprentissage métrique revient à entraîner la règle : étant donné des informations sur les paires d'exemples qui devraient être proches et celles qui devraient être éloignées, il ajuste la géométrie de l'espace des caractéristiques de sorte qu'un simple classificateur des plus proches voisins ou un algorithme de regroupement obtienne immédiatement les groupements corrects. L'espace appris capture efficacement ce que signifie 'similaire' pour la tâche spécifique.
Histoire
Le cadre moderne a été établi par Xing et al. (2003), qui ont formulé l'apprentissage métrique comme un problème d'optimisation convexe avec des contraintes par paires. Weinberger et Saul (2009) ont introduit le Large Margin Nearest Neighbor (LMNN), établissant une nouvelle norme pour les tâches basées sur k-NN. Le domaine s'est accéléré avec l'apprentissage métrique profond : Chopra et al. (2005) ont popularisé le réseau siamois avec la perte contrastive, et Schroff et al. (2015) ont introduit la perte triplet FaceNet pour la vérification faciale à grande échelle. Aujourd'hui, l'apprentissage métrique sous-tend une grande partie de l'apprentissage à quelques exemples (few-shot learning) et de la recherche sur les représentations visuelles.
Quand l’utiliser
Utilisez l'apprentissage métrique lorsque la tâche en aval est intrinsèquement basée sur la similarité — par exemple, classification à quelques exemples (few-shot classification), vérification faciale, recherche d'images médicales, identification de locuteur, ou recommandation de produits — et lorsqu'une distance Euclidienne fixe fonctionne mal car les caractéristiques ont une pertinence inégale. Il excelle avec des jeux de données étiquetés de taille modérée à grande et des entrées de haute dimensionnalité telles que des images ou des intégrations textuelles. Évitez-le lorsque vous avez très peu d'exemples étiquetés par classe (moins d'environ 5 à 10 par classe), lorsque l'objectif final est une régression ou une classification tabulaire simple bien servie par la régression logistique ou le boosting de gradient, ou lorsque l'interprétabilité en termes de coefficients de caractéristiques explicites est requise.
Limites et points d’attention
- Les pertes triplet et contrastive nécessitent une extraction minutieuse de paires/triplets ; l'échantillonnage aléatoire produit principalement des paires faciles et non informatives et ralentit considérablement l'entraînement.
- Les méthodes de Mahalanobis linéaires ont une complexité quadratique par rapport à la dimensionnalité des caractéristiques, devenant prohibitives dans de très hautes dimensions sans réduction de dimensionnalité.
- Nécessite des données étiquetées ou des contraintes par paires ; les paramètres entièrement non supervisés limitent ce qui peut être appris sans hypothèses supplémentaires.
- L'évaluation est indirecte — la qualité de la métrique doit être évaluée par une tâche en aval, pas par une seule valeur de perte.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Adapte la géométrie de l'espace des caractéristiques à la tâche spécifique, améliorant considérablement la précision des plus proches voisins et du clustering.
- Permet la reconnaissance à quelques exemples (few-shot recognition) : une fois qu'une bonne métrique est apprise, la classification de nouvelles classes ne nécessite que quelques exemples.
- Se transfère bien entre domaines — une métrique apprise sur un jeu de données peut être affinée pour une tâche connexe avec peu de données supplémentaires.
- Agnostique au modèle : l'intégration apprise peut alimenter n'importe quel algorithme en aval (k-NN, SVM, k-means) sans réentraîner ces composants.
- Les formulations contrastives et triplet s'adaptent à de très grands jeux de données via l'échantillonnage par mini-lots.
Applications
- Vérification et reconnaissance faciale : apprendre si deux images de visages montrent la même personne.
- Classification d'images à quelques exemples (few-shot image classification) : classifier de nouvelles catégories visuelles à partir d'un ou quelques exemples.
- Recherche d'images médicales : trouver des régions de scan ou des patchs d'histopathologie similaires dans de grandes bases de données.
- Vérification du locuteur et de la voix dans les systèmes d'authentification biométrique.
- Recommandation de produits et recherche visuelle dans le commerce électronique.
Comment ça marche
Comment ça marche
À partir de données étiquetées ou annotées par paires, des paires positives (même classe ou explicitement similaires) et des paires négatives (classe différente ou explicitement dissimilaires) sont définies. Ces contraintes codent ce que signifient 'proche' et 'éloigné' pour la tâche, et forment le signal de supervision pour l'entraînement de la métrique.
Une fonction de distance paramétrique est choisie — le plus souvent une distance de Mahalanobis gouvernée par une matrice semi-définie positive M, ou une fonction d'intégration (embedding) par réseau neuronal suivie d'une distance Euclidienne ou cosinus. La matrice M généralise la mise à l'échelle alignée sur les axes à une repondération complète entre caractéristiques.
Formule
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0Un objectif est formulé pour rapprocher les paires positives et éloigner les paires négatives tout en respectant une marge ou une contrainte souple. Les objectifs courants incluent la perte contrastive, la perte triplet (distance ancre-positif inférieure à la distance ancre-négatif par une marge), ou la perte charnière du plus proche voisin à grande marge (LMNN).
Les paramètres de la métrique (M ou poids du réseau neuronal) sont optimisés par descente de gradient ou programmation semi-définie. Les stratégies d'échantillonnage par mini-lots, telles que l'extraction de négatifs difficiles (hard negative mining), sont critiques pour les objectifs basés sur les triplets : l'échantillonnage aléatoire tend à produire des triplets non informatifs qui ralentissent la convergence.
À l'inférence, la métrique ou l'intégration apprise est appliquée à de nouvelles données. Les tâches en aval — classification par plus proches voisins, clustering k-means, recherche d'images, ou recommandation — opèrent dans l'espace appris, où la distance reflète fidèlement la similarité sémantique.
Pièges courants
- Utiliser un échantillonnage aléatoire de triplets au lieu d'une extraction de négatifs difficiles ou semi-difficiles, ce qui conduit à un gradient proche de zéro et à un entraînement bloqué.
- Évaluer la métrique uniquement sur les classes d'entraînement ; les performances sur les classes non vues (la cible de généralisation réelle) peuvent être bien inférieures.
- Négliger de normaliser les intégrations avant de calculer la similarité cosinus, provoquant des artefacts d'échelle.
- Traiter l'intégration apprise comme interprétable en termes de caractéristiques originales sans analyse supplémentaire telle que le sondage linéaire (linear probing) ou SHAP.
- Appliquer une métrique apprise à un changement de domaine (distribution de données différente) sans re-validation ou affinage.
Questions fréquentes
Quelle est la différence entre l'apprentissage métrique et l'apprentissage contrastif ?
L'apprentissage contrastif est une famille spécifique d'objectifs d'apprentissage métrique (par exemple, perte contrastive, SimCLR) qui contrastent les paires positives et négatives. L'apprentissage métrique est le cadre plus large qui inclut également les méthodes de Mahalanobis, les pertes triplet, et les objectifs basés sur des proxys.
Combien d'exemples par classe ai-je besoin ?
Les méthodes de Mahalanobis linéaires peuvent fonctionner avec aussi peu que 10 à 20 exemples par classe. L'apprentissage métrique profond nécessite généralement des dizaines à des centaines d'exemples par classe pour apprendre des intégrations utiles, bien que les réseaux de base pré-entraînés puissent réduire considérablement cette exigence.
L'apprentissage métrique est-il la même chose que la réduction de dimensionnalité ?
Pas exactement. Des méthodes comme PCA ou UMAP réduisent les dimensions sans supervision directe. L'apprentissage métrique utilise la supervision de classe ou par paires pour façonner la géométrie, de sorte que l'espace résultant soit discriminatoire pour la tâche, et pas seulement compact.
L'apprentissage métrique peut-il gérer des classes déséquilibrées ?
Oui, mais l'échantillonnage des paires/triplets doit être stratifié pour éviter que la classe dominante ne submerge le lot. Les pertes basées sur des proxys (Proxy-NCA, Proxy-Anchor) sont plus robustes au déséquilibre des classes que l'échantillonnage triplet.
Quand devrais-je utiliser l'apprentissage métrique au lieu d'un classificateur standard ?
Préférez l'apprentissage métrique lorsque vous avez besoin de généraliser à des classes non vues lors de l'entraînement (reconnaissance en ensemble ouvert, apprentissage à quelques exemples), ou lorsque la tâche est de la recherche plutôt que de la prédiction de classe fixe.
Méthodes associées
Sources
Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.
Ouvrir la référence de la publicationCopié.Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.
Ouvrir la référence de la publicationCopié.