Destilación de Conocimiento
- Propuesto por
- Hinton, G., Vinyals, O. & Dean, J.
- Año
- 2015
- Tipo
- Neural network compression (teacher–student)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La destilación de conocimiento es una técnica de compresión de modelos, introducida por Geoffrey Hinton y colegas en 2015, que entrena un modelo estudiante pequeño utilizando las salidas de etiquetas suaves de un modelo profesor grande.
Los modelos destilados como DistilBERT y TinyBERT alcanzan aproximadamente el 97% del rendimiento del modelo más grande mientras se ejecutan mucho más rápido.
La intuición detrás del método
Un modelo grande y preciso a menudo es demasiado lento o pesado para desplegarlo. En lugar de entrenar un modelo pequeño desde cero solo con etiquetas duras, se le permite aprender de las ricas salidas de probabilidad del modelo grande: la distribución completa del profesor sobre las clases lleva mucha más información que una sola respuesta correcta, revelando qué clases se parecen y cuán confiado está el profesor. El estudiante absorbe este 'conocimiento oscuro' y termina siendo mucho más pequeño pero casi tan capaz.
Historia
La Destilación de Conocimiento fue introducida por Geoffrey Hinton, Oriol Vinyals y Jeff Dean en un artículo del Taller de Aprendizaje Profundo de NeurIPS de 2015, que planteó la compresión de un modelo grande en uno pequeño haciendo coincidir las salidas suavizadas del modelo más grande. Se convirtió en una herramienta estándar para desplegar modelos profundos compactos; DistilBERT de Sanh y colegas en 2019 mostró una versión destilada de BERT que es más pequeña, rápida, barata y ligera, conservando la mayor parte de la precisión del original.
Cuándo usarlo
Úselo cuando tenga un modelo profesor fuerte pero pesado y entrenado, y desee un estudiante más pequeño y rápido para desplegar en tareas de texto o de características continuas, con al menos unas 100 observaciones específicas de la tarea. Asume que el modelo profesor ya está entrenado y disponible, y que un conjunto de datos específico de la tarea está listo. Por debajo de aproximadamente 500 observaciones, el estudiante no puede destilar lo suficiente del profesor y el sobreajuste se convierte en un riesgo; por debajo de unas 100, la destilación es inútil y el aprendizaje automático clásico es la opción más segura.
Limitaciones y consideraciones
- Requiere un modelo profesor ya entrenado y disponible; la destilación no puede comenzar sin uno.
- Necesita un conjunto de datos específico de la tarea; con muy pocos datos, el estudiante aprende poco del profesor.
- En conjuntos de datos pequeños (n por debajo de unas 500) el estudiante se sobreajusta y no logra absorber el conocimiento del profesor.
- Añade una carga de canal de entrenamiento y ajuste (temperatura, peso de mezcla) además del modelo original.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Produce un modelo mucho más pequeño y rápido que puede recuperar alrededor del 97% del rendimiento del profesor.
- Las etiquetas suaves del profesor conllevan información más rica que las etiquetas duras, mejorando la generalización del estudiante.
- Pocas suposiciones: no requiere datos distribuidos normalmente.
- Reutiliza un profesor entrenado existente, por lo que se adapta al despliegue y servicio donde la velocidad y el tamaño son importantes.
Aplicaciones
- Compresión de grandes modelos de lenguaje en estudiantes desplegables como DistilBERT y TinyBERT.
- Aceleración de la inferencia para clasificación y predicción de texto donde el profesor completo es demasiado lento.
- Reducción de modelos para entornos de servicio con recursos limitados o sensibles a la latencia.
- Transferencia de la capacidad de un modelo pesado a uno ligero sin reentrenamiento desde cero.
Cómo funciona
Cómo funciona
Se toma como dado un modelo profesor grande y bien entrenado; ya debe estar entrenado y disponible. Este profesor tiene el poder predictivo que se desea preservar pero es demasiado costoso de ejecutar a escala.
El profesor produce salidas de etiquetas suaves: distribuciones de probabilidad completas sobre las clases en lugar de una sola etiqueta dura. Estas predicciones suavizadas exponen las similitudes que el profesor ve entre las clases, proporcionando una señal de entrenamiento mucho más rica que las etiquetas de verdad del terreno por sí solas.
El modelo estudiante pequeño se entrena para que coincida simultáneamente con las etiquetas verdaderas y las salidas suaves del profesor. La pérdida de destilación combina un término estándar de entropía cruzada sobre las etiquetas duras con un término de divergencia de Kullback-Leibler que acerca los logits del estudiante a los del profesor, ponderado por un factor de mezcla alfa. El resultado es un estudiante compacto que retiene la mayor parte de la precisión del profesor.
Fórmula
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Errores comunes
- Intentar la destilación sin un profesor debidamente entrenado del cual copiar.
- Ejecutarlo en un conjunto de datos de tarea diminuto donde el aprendizaje automático clásico lo haría mejor.
- Ignorar el peso de mezcla alfa entre los términos de pérdida de etiqueta dura y etiqueta suave.
- Esperar que el estudiante coincida completamente con el profesor en lugar de aproximarse a él.
Preguntas frecuentes
¿Por qué usar etiquetas suaves en lugar de solo la respuesta correcta?
La distribución de probabilidad completa del profesor revela cuán similares le parecen las clases y cuán confiado está. Esta señal adicional —a veces llamada conocimiento oscuro— ayuda al estudiante a generalizar mejor que solo con etiquetas duras.
¿Cuán más pequeño puede ser el estudiante?
Los modelos destilados como DistilBERT y TinyBERT son sustancialmente más pequeños y rápidos que sus profesores, alcanzando aproximadamente el 97% del rendimiento del profesor, aunque el compromiso exacto depende de la tarea y la arquitectura.
¿Qué necesito antes de destilar?
Necesita un modelo profesor que ya esté entrenado y disponible, además de un conjunto de datos específico de la tarea. Con menos de unas 500 observaciones, el estudiante tiene dificultades para destilar lo suficiente del profesor y puede sobreajustarse.
¿Qué es el alfa en la pérdida?
Alfa mezcla las dos partes de la pérdida de destilación: un término de entropía cruzada sobre las etiquetas verdaderas y un término de divergencia de Kullback-Leibler que alinea las salidas del estudiante con las del profesor. Ajustarlo equilibra el aprendizaje de la verdad del terreno frente al aprendizaje del profesor.
Métodos relacionados
Fuentes
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Abrir referencia de la publicaciónCopiado.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Abrir referencia de la publicaciónCopiado.