Skip to content
Retour aux résultats

Recherche d'architecture neuronale

Introduite par
Zoph, B. & Le, Q.V.
Année
2017
Type
Automated architecture optimization (deep learning)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La Recherche d'architecture neuronale (NAS), introduite par Zoph et Le en 2017, optimise automatiquement les décisions architecturales telles que la profondeur, la largeur et la structure de connexion d'un réseau, au lieu de les concevoir manuellement.

Les méthodes de pointe dans ce domaine incluent DARTS, ENAS et Once-for-All.

L’intuition derrière la méthode

Concevoir un réseau profond manuellement implique de deviner combien de couches empiler, quelle largeur donner à chacune et comment elles doivent se connecter — un processus lent d'essais et d'erreurs. La NAS transforme ce processus en un problème de recherche : un ordinateur explore un espace défini d'architectures candidates, les évalue, et converge vers une conception performante, de sorte que l'architecture est découverte plutôt que devinée.

Histoire

La Recherche d'architecture neuronale a été introduite par Barret Zoph et Quoc V. Le en 2017, qui ont utilisé l'apprentissage par renforcement pour qu'un contrôleur propose des architectures de réseau. Le coût élevé de cette approche a entraîné une vague de méthodes plus efficaces : ENAS a introduit le partage de poids entre les candidats, DARTS (Liu et al., 2019) a rendu la recherche différentiable afin qu'elle puisse être optimisée par descente de gradient, et Once-for-All a entraîné un unique super-réseau à partir duquel des sous-réseaux spécialisés pouvaient être extraits. Ensemble, ces avancées ont transformé la NAS d'une curiosité de recherche nécessitant d'énormes calculs en un outil plus pratique pour la conception automatisée de modèles.

Quand l’utiliser

Utilisez la NAS lorsque vous avez besoin de concevoir un réseau profond performant pour la prédiction ou la classification sur des données continues ou textuelles, que vous disposez d'un grand jeu de données (environ 1000 observations ou plus), que l'espace de recherche est bien défini et qu'un budget de calcul important avec des ressources GPU/TPU est disponible. Avec de petits échantillons, l'espace de recherche ne peut pas être évalué de manière fiable et les architectures candidates sur-apprennent ; en dessous d'environ 1000 observations, une Forêt Aléatoire est un choix plus sûr, et en dessous de 500, un modèle standard tel que le gradient boosting est préférable.

Limites et points d’attention

  • Nécessite un budget de calcul important et souvent un cluster GPU/TPU.
  • Nécessite un grand jeu de données (environ 1000 observations ou plus) pour évaluer les candidats de manière fiable.
  • La qualité dépend fortement d'un espace de recherche bien défini, qui nécessite lui-même une expertise.
  • Sur de petites données, les architectures candidates sur-apprennent et la recherche devient peu fiable.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Automatise la conception d'architectures, éliminant les essais et erreurs manuels lents.
  • Peut découvrir des réseaux qui surpassent les conceptions manuelles pour la tâche cible.
  • Peu exigeant sur les hypothèses concernant les données : aucune exigence de normalité ; gère les entrées continues et textuelles.
  • Flexible selon les tâches et les structures de données une fois l'espace de recherche spécifié.
  • Les variantes de partage de poids et de super-réseau (ENAS, Once-for-All) réduisent considérablement le coût de la recherche.

Applications

  • Concevoir automatiquement des réseaux de classification d'images performants.
  • Optimiser les architectures pour les tâches de prédiction sur de grandes données tabulaires ou séquentielles.
  • Rechercher des sous-réseaux efficaces adaptés aux budgets matériels (par exemple, mobiles ou périphériques).
  • Conception automatisée de modèles où le réglage manuel de l'architecture est peu pratique.

Comment ça marche

Comment ça marche

1

Premièrement, un espace de recherche est défini — l'ensemble des choix architecturaux que la procédure est autorisée à considérer, tels que le nombre de couches, la largeur de chaque couche, les opérations candidates et la manière dont les blocs peuvent se connecter. Un espace de recherche bien défini est essentiel : s'il est trop étroit, il exclut les bonnes conceptions, et s'il est trop large, la recherche devient intraitable.

2

Une stratégie de recherche explore ensuite cet espace pour trouver une architecture performante. Les premières NAS utilisaient l'apprentissage par renforcement pour proposer des architectures (Zoph et Le), tandis que DARTS rendait la recherche différentiable en relâchant les choix discrets en poids continus, de sorte que la descente de gradient puisse optimiser les paramètres de l'architecture par rapport à la perte de validation. Cette étape est gourmande en calcul et nécessite généralement un cluster GPU ou TPU et un budget de calcul important.

Formule
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)
3

Chaque architecture candidate est entraînée et évaluée sur les données, et la conception la plus performante est sélectionnée et entraînée jusqu'à complétion. Comme l'évaluation de nombreux candidats est coûteuse, des méthodes telles que ENAS partagent les poids entre les candidats et Once-for-All entraîne un unique super-réseau à partir duquel de nombreuses sous-architectures peuvent être extraites, réduisant considérablement le coût de la recherche.

Pièges courants

  • Exécuter la NAS sur un petit jeu de données, où les candidats sur-apprennent et les classements sont dénués de sens.
  • Définir un espace de recherche trop large pour être exploré ou trop étroit pour contenir de bonnes conceptions.
  • Sous-estimer le coût de calcul et arrêter la recherche avant qu'elle ne converge.
  • Sélectionner une architecture sur une division de validation et ne pas la ré-entraîner et la tester proprement.
  • Opter pour la NAS alors qu'un modèle standard suffirait déjà pour le problème.

Questions fréquentes

Quelle est la différence entre la NAS et le réglage des hyperparamètres ?

Le réglage des hyperparamètres ajuste les paramètres d'une architecture fixe, tels que le taux d'apprentissage ou le nombre d'arbres. La NAS recherche sur l'architecture elle-même — le nombre et la largeur des couches, les opérations et leur connexion — découvrant la structure du réseau plutôt que de simplement régler un modèle choisi.

Pourquoi la NAS est-elle si coûteuse en calcul ?

La NAS naïve entraîne et évalue de nombreuses architectures candidates, chacune étant un réseau profond complet. Cela nécessite généralement un cluster GPU ou TPU et un budget important. Des méthodes comme ENAS (partage de poids) et Once-for-All (un unique super-réseau) ont été développées spécifiquement pour réduire ce coût.

Quelle quantité de données est nécessaire pour la NAS ?

La NAS attend un grand jeu de données, environ 1000 observations ou plus. Avec moins d'environ 1000, l'espace de recherche ne peut pas être évalué de manière fiable et les candidats sur-apprennent, donc une Forêt Aléatoire est plus sûre ; en dessous de 500, un modèle standard tel que le gradient boosting est préférable.

Quelle est la contribution de DARTS ?

DARTS rend la recherche différentiable en relâchant le choix discret des opérations en poids continus, de sorte que l'architecture puisse être optimisée par descente de gradient plutôt que par apprentissage par renforcement. Cela a rendu la recherche d'architecture beaucoup plus rapide que l'approche originale basée sur l'apprentissage par renforcement.

Méthodes associées

Sources

  1. Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.

    Ouvrir la référence de la publication
    Copié.
  2. Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.

    Ouvrir la référence de la publication
    Copié.