Distillation de connaissances
- Introduite par
- Hinton, G., Vinyals, O. & Dean, J.
- Année
- 2015
- Type
- Neural network compression (teacher–student)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La distillation de connaissances est une technique de compression de modèles, introduite par Geoffrey Hinton et ses collègues en 2015, qui entraîne un petit modèle étudiant à l'aide des sorties de pseudo-étiquettes (soft labels) d'un grand modèle enseignant.
Les modèles distillés tels que DistilBERT et TinyBERT atteignent environ 97 % des performances du modèle plus grand tout en s'exécutant beaucoup plus rapidement.
L’intuition derrière la méthode
Un grand modèle précis est souvent trop lent ou trop lourd à déployer. Au lieu d'entraîner un petit modèle à partir de zéro en utilisant uniquement les étiquettes strictes (hard labels), on le laisse apprendre à partir des riches sorties de probabilité du grand modèle : la distribution complète des classes de l'enseignant transporte beaucoup plus d'informations qu'une seule réponse correcte, révélant quelles classes se ressemblent et quel est le degré de confiance de l'enseignant. L'étudiant absorbe ces 'connaissances obscures' (dark knowledge) et finit par être beaucoup plus petit tout en étant presque aussi performant.
Histoire
La distillation de connaissances a été introduite par Geoffrey Hinton, Oriol Vinyals et Jeff Dean dans un article de 2015 du NeurIPS Deep Learning Workshop, qui a formalisé la compression d'un grand modèle en un petit en faisant correspondre les sorties adoucies du modèle plus grand. Elle est devenue un outil standard pour déployer des modèles profonds compacts ; DistilBERT de Sanh et ses collègues en 2019 a montré une version distillée de BERT qui est plus petite, plus rapide, moins chère et plus légère tout en conservant la majeure partie de la précision de l'original.
Quand l’utiliser
Utilisez-la lorsque vous disposez d'un modèle enseignant solide mais lourd, déjà entraîné, et que vous souhaitez un étudiant plus petit et plus rapide pour le déploiement sur des tâches textuelles ou à caractéristiques continues, avec au moins environ 100 observations spécifiques à la tâche. Elle suppose que le modèle enseignant est déjà entraîné et disponible, et qu'un ensemble de données spécifique à la tâche est prêt. En dessous d'environ 500 observations, l'étudiant ne peut pas distiller suffisamment de l'enseignant et le surapprentissage devient un risque ; en dessous d'environ 100, la distillation est inutile et l'apprentissage automatique classique est le choix le plus sûr.
Limites et points d’attention
- Nécessite un modèle enseignant déjà entraîné et disponible ; la distillation ne peut pas commencer sans lui.
- Nécessite un ensemble de données spécifique à la tâche ; avec trop peu de données, l'étudiant apprend peu de l'enseignant.
- Sur de petits ensembles de données (n inférieur à environ 500), l'étudiant surapprend et échoue à absorber les connaissances de l'enseignant.
- Ajoute une charge d'entraînement et de réglage (température, poids de mélange) en plus du modèle d'origine.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Produit un modèle beaucoup plus petit et plus rapide qui peut récupérer environ 97 % des performances de l'enseignant.
- Les pseudo-étiquettes de l'enseignant transportent des informations plus riches que les étiquettes strictes, améliorant la généralisation de l'étudiant.
- Peu d'hypothèses : ne nécessite pas de données normalement distribuées.
- Réutilise un enseignant entraîné existant, ce qui convient au déploiement et à la mise en service où la vitesse et la taille sont importantes.
Applications
- Compression de grands modèles de langage en étudiants déployables tels que DistilBERT et TinyBERT.
- Accélération de l'inférence pour la classification et la prédiction de texte lorsque l'enseignant complet est trop lent.
- Réduction de la taille des modèles pour les environnements de mise en service contraints en ressources ou sensibles à la latence.
- Transfert de la capacité d'un modèle lourd vers un modèle léger sans réentraînement à partir de zéro.
Comment ça marche
Comment ça marche
Un grand modèle enseignant bien entraîné est considéré comme acquis : il doit déjà être entraîné et disponible. Cet enseignant possède le pouvoir prédictif que l'on souhaite préserver, mais il est trop coûteux à exécuter à grande échelle.
L'enseignant produit des sorties de pseudo-étiquettes : des distributions de probabilité complètes sur les classes plutôt qu'une seule étiquette stricte. Ces prédictions adoucies exposent les similarités que l'enseignant perçoit entre les classes, fournissant un signal d'entraînement beaucoup plus riche que les étiquettes de vérité terrain seules.
Le petit modèle étudiant est entraîné à correspondre à la fois aux étiquettes réelles et aux sorties de pseudo-étiquettes de l'enseignant simultanément. La perte de distillation combine un terme standard d'entropie croisée sur les étiquettes strictes avec un terme de divergence de Kullback–Leibler qui rapproche les logits de l'étudiant de ceux de l'enseignant, pondérés par un facteur de mélange alpha. Le résultat est un étudiant compact qui conserve la majeure partie de la précision de l'enseignant.
Formule
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Pièges courants
- Tenter la distillation sans un enseignant correctement entraîné dont copier les connaissances.
- L'exécuter sur un ensemble de données de tâche minuscule où l'apprentissage automatique classique ferait mieux.
- Ignorer le poids de mélange alpha entre les termes de perte d'étiquettes strictes et de pseudo-étiquettes.
- S'attendre à ce que l'étudiant corresponde entièrement à l'enseignant plutôt qu'à s'en approcher.
Questions fréquentes
Pourquoi utiliser des pseudo-étiquettes au lieu de simplement la bonne réponse ?
La distribution de probabilité complète de l'enseignant révèle à quel point les classes lui semblent similaires et quel est son degré de confiance. Ce signal supplémentaire – parfois appelé 'dark knowledge' – aide l'étudiant à mieux généraliser que les étiquettes strictes seules.
Quelle est la taille maximale de réduction de l'étudiant ?
Les modèles distillés tels que DistilBERT et TinyBERT sont substantiellement plus petits et plus rapides que leurs enseignants tout en atteignant environ 97 % des performances de l'enseignant, bien que le compromis exact dépende de la tâche et de l'architecture.
De quoi ai-je besoin avant de distiller ?
Vous avez besoin d'un modèle enseignant déjà entraîné et disponible, ainsi que d'un ensemble de données spécifique à la tâche. Avec moins d'environ 500 observations, l'étudiant a du mal à distiller suffisamment de l'enseignant et peut surapprendre.
Qu'est-ce que l'alpha dans la perte ?
Alpha mélange les deux parties de la perte de distillation : un terme d'entropie croisée sur les étiquettes réelles et un terme de divergence de Kullback–Leibler qui aligne les sorties de l'étudiant avec celles de l'enseignant. Son réglage équilibre l'apprentissage à partir de la vérité terrain par rapport à l'apprentissage à partir de l'enseignant.
Méthodes associées
Sources
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Ouvrir la référence de la publicationCopié.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Ouvrir la référence de la publicationCopié.