Skip to content
Retour aux résultats

Réseau de neurones convolutif (Classification)

Introduite par
LeCun, Y. et al.
Année
1998
Type
Deep neural network (convolutional)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Un réseau de neurones convolutif (CNN) est un modèle d'apprentissage profond, établi par LeCun et ses collègues en 1998, qui apprend des motifs locaux directement à partir d'images et de données structurées pour les classifier.

Des piles de filtres convolutifs découvrent des caractéristiques de plus en plus abstraites, ce qui permet de réduire considérablement l'ingénierie manuelle des caractéristiques.

L’intuition derrière la méthode

Au lieu de concevoir manuellement des caractéristiques, un CNN fait glisser de petits filtres apprenables sur l'entrée pour détecter des motifs locaux tels que des bords, des textures ou des motifs, indépendamment de leur emplacement. Les premières couches captent des indices simples ; les couches plus profondes les combinent en concepts de plus haut niveau. Comme le même filtre est réutilisé sur toute l'entrée, le réseau apprend efficacement et reconnaît un motif où qu'il apparaisse.

Histoire

Les réseaux de neurones convolutifs ont été réunis sous leur forme moderne par Yann LeCun et ses collègues dans leurs travaux de 1998 sur l'apprentissage basé sur le gradient appliqué à la reconnaissance de documents, où l'architecture LeNet lisait des chiffres manuscrits. La combinaison de la convolution, du pooling et de l'entraînement par gradient de bout en bout est devenue le modèle pour la classification d'images et, avec des jeux de données plus importants et du matériel plus rapide, a entraîné la révolution de l'apprentissage profond en vision par ordinateur.

Quand l’utiliser

Utilisez un CNN pour classifier ou prédire à partir d'images et de données structurées de type grille lorsque vous disposez d'un grand jeu de données étiquetées — environ 1000 observations ou plus — et que vous souhaitez que le modèle apprenne les caractéristiques automatiquement plutôt que de les concevoir manuellement. Il ne nécessite pas de données normalement distribuées et gère les entrées continues et catégorielles. En dessous d'environ 500 observations, le réseau surajuste et une Forêt Aléatoire est plus sûre ; en dessous d'environ 200, les filtres convolutifs ne peuvent pas apprendre de motifs significatifs et une SVM est préférable.

Limites et points d’attention

  • Nécessite un grand jeu de données étiquetées (environ 1000 observations ou plus) pour un entraînement fiable.
  • Sur de petits échantillons (n inférieur à environ 500), le réseau surajuste et les performances de classification diminuent.
  • En dessous d'environ 200 observations, les filtres convolutifs ne peuvent pas du tout apprendre de motifs significatifs.
  • Coûteux en calcul à entraîner, et la représentation apprise est difficile à interpréter.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Apprend automatiquement les motifs locaux, réduisant considérablement le besoin d'ingénierie manuelle des caractéristiques.
  • Le partage des poids reconnaît un motif où qu'il apparaisse et maintient le nombre de paramètres gérable.
  • Construit une hiérarchie de caractéristiques, des bords simples aux concepts abstraits, bien adaptée aux images.
  • Hypothèse légère : pas d'exigence de normalité, et il accepte les entrées continues et catégorielles.
  • Précision de pointe sur les tâches de classification d'images et de données structurées en grille à grande échelle et étiquetées.

Applications

  • Tâches de classification et de reconnaissance d'images.
  • Classification de données structurées de type grille où les motifs locaux sont importants.
  • Reconnaissance de documents et de caractères manuscrits.
  • Apprentissage de caractéristiques où l'ingénierie manuelle des caractéristiques est impraticable.

Comment ça marche

Comment ça marche

1

Les filtres apprenables (noyaux) sont convolués sur l'entrée, calculant des sommes locales pondérées pour produire des cartes de caractéristiques. Chaque filtre répond à un motif local spécifique — un bord, une texture, un fragment de forme — et comme les mêmes poids sont partagés sur toutes les positions, le réseau détecte ce motif n'importe où dans l'entrée tout en maintenant un faible nombre de paramètres.

Formule
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

Les couches de pooling (par exemple, max pooling) sous-échantillonnent chaque carte de caractéristiques, résumant les voisinages en une seule valeur. Cela réduit les dimensions spatiales, rend la représentation plus robuste aux petits décalages et aux distorsions, et permet aux couches ultérieures de construire des caractéristiques de plus en plus abstraites sur un champ récepteur plus large.

3

Les cartes de caractéristiques de haut niveau sont aplaties et passées à travers des couches entièrement connectées se terminant par une fonction softmax qui produit des probabilités de classe. L'ensemble du réseau — filtres et poids ensemble — est entraîné de bout en bout par apprentissage basé sur le gradient, minimisant la perte de classification via la rétropropagation.

Formule
\hat{y} = \operatorname{softmax}(W h + b)

Pièges courants

  • Entraînement sur trop peu de données et surajustement au lieu de recourir à une Forêt Aléatoire ou une SVM.
  • Omission d'une division de validation ou de test mise de côté et confiance dans la précision de l'entraînement.
  • Ignorer le déséquilibre des classes au lieu de repondérer ou rééchantillonner les classes.
  • Rapporter uniquement la précision sans la précision, le rappel, le score F1, ou une matrice de confusion.
  • Oublier de normaliser les entrées ou n'appliquer aucune régularisation contre le surajustement.

Questions fréquentes

Quelle quantité de données un CNN nécessite-t-il ?

Les CNN sont gourmands en données ; un seuil approximatif est d'environ 1000 observations étiquetées. En dessous d'environ 500, ils ont tendance à surajuster, et en dessous d'environ 200, les filtres ne peuvent pas apprendre de motifs significatifs — dans ces cas, une Forêt Aléatoire ou une SVM sont des choix plus sûrs.

Pourquoi la convolution plutôt qu'un réseau de neurones simple ?

La convolution partage le même petit filtre sur toutes les positions de l'entrée, de sorte qu'un motif est détecté où qu'il apparaisse et que le nombre de paramètres reste faible. Un réseau entièrement connecté nécessiterait beaucoup plus de poids et n'exploiterait pas la structure spatiale des données.

Que fait le pooling ?

Le pooling sous-échantillonne les cartes de caractéristiques en résumant les voisinages locaux, ce qui réduit la taille spatiale, ajoute de la robustesse aux petits décalages et permet aux couches plus profondes de construire des caractéristiques plus abstraites sur un champ récepteur plus large.

Que dois-je vérifier avant de me fier à un CNN ?

Confirmez que vous disposez d'un jeu de données étiquetées suffisamment grand, normalisez les entrées, mettez en place une division entraînement/validation/test appropriée, traitez tout déséquilibre de classe et évaluez avec la précision, le rappel, le score F1 et une matrice de confusion plutôt que la seule précision.

Méthodes associées

Sources

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    Ouvrir la référence DOI
    Copié.