Destilação de Conhecimento
- Proposto por
- Hinton, G., Vinyals, O. & Dean, J.
- Ano
- 2015
- Tipo
- Neural network compression (teacher–student)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A Destilação de Conhecimento é uma técnica de compressão de modelos, introduzida por Geoffrey Hinton e colegas em 2015, que treina um pequeno modelo aluno usando as saídas de rótulo suave (soft-label) de um grande modelo professor.
Modelos destilados como DistilBERT e TinyBERT atingem aproximadamente 97% do desempenho do modelo maior, enquanto executam muito mais rapidamente.
A intuição por trás do método
Um modelo grande e preciso é frequentemente muito lento ou pesado para ser implantado. Em vez de treinar um modelo pequeno do zero apenas com rótulos duros (hard labels), você o deixa aprender com as ricas saídas de probabilidade do modelo grande: a distribuição completa de classes do professor carrega muito mais informação do que uma única resposta correta, revelando quais classes parecem semelhantes e quão confiante o professor está. O aluno absorve esse 'conhecimento escuro' e acaba sendo muito menor, porém quase tão capaz.
História
A Destilação de Conhecimento foi introduzida por Geoffrey Hinton, Oriol Vinyals e Jeff Dean em um artigo de 2015 do NeurIPS Deep Learning Workshop, que enquadrou a compressão de um modelo grande em um pequeno, correspondendo às saídas suavizadas do modelo maior. Tornou-se uma ferramenta padrão para implantar modelos profundos compactos; DistilBERT de Sanh e colegas (2019) mostrou uma versão destilada do BERT que é menor, mais rápida, mais barata e mais leve, mantendo a maior parte da precisão original.
Quando usar
Use-a quando você tem um modelo professor forte, mas pesado e treinado, e deseja um aluno menor e mais rápido para implantação em tarefas de texto ou com características contínuas, com pelo menos cerca de 100 observações específicas da tarefa. Assume-se que o modelo professor já está treinado e disponível, e que um conjunto de dados específico da tarefa está pronto. Abaixo de aproximadamente 500 observações, o aluno não consegue destilar o suficiente do professor e o sobreajuste (overfitting) se torna um risco; abaixo de cerca de 100, a destilação é inútil e o aprendizado de máquina clássico é a escolha mais segura.
Limitações e considerações
- Requer um modelo professor já treinado e disponível — a destilação não pode começar sem um.
- Necessita de um conjunto de dados específico da tarefa; com dados insuficientes, o aluno aprende pouco com o professor.
- Em conjuntos de dados pequenos (n abaixo de cerca de 500), o aluno sofre sobreajuste e falha em absorver o conhecimento do professor.
- Adiciona uma pipeline de treinamento e um fardo de ajuste (temperatura, peso de mistura) além do modelo original.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Produz um modelo muito menor e mais rápido que pode recuperar cerca de 97% do desempenho do professor.
- Os rótulos suaves do professor carregam informação mais rica do que os rótulos duros, melhorando a generalização do aluno.
- Poucas suposições: não requer dados normalmente distribuídos.
- Reutiliza um professor treinado existente, sendo adequado para implantação e serviço onde velocidade e tamanho são importantes.
Aplicações
- Compressão de grandes modelos de linguagem em alunos implantáveis como DistilBERT e TinyBERT.
- Aceleração da inferência para classificação e previsão de texto onde o professor completo é muito lento.
- Encolhimento de modelos para ambientes de serviço com recursos restritos ou sensíveis à latência.
- Transferência da capacidade de um modelo pesado para um leve sem retreinamento do zero.
Como funciona
Como funciona
Um modelo professor grande e bem treinado é tomado como dado — ele já deve estar treinado e disponível. Este professor tem o poder preditivo que você deseja preservar, mas é muito caro para executar em escala.
O professor produz saídas de rótulo suave: distribuições de probabilidade completas sobre as classes, em vez de um único rótulo duro. Essas previsões suavizadas expõem as similaridades que o professor vê entre as classes, fornecendo um sinal de treinamento muito mais rico do que os rótulos de verdade (ground-truth) sozinhos.
O pequeno modelo aluno é treinado para corresponder simultaneamente aos rótulos verdadeiros e às saídas suaves do professor. A perda de destilação combina um termo padrão de entropia cruzada (cross-entropy) nos rótulos duros com um termo de divergência de Kullback–Leibler que aproxima os logits do aluno aos do professor, ponderado por um fator de mistura alpha. O resultado é um aluno compacto que retém a maior parte da precisão do professor.
Fórmula
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Erros comuns
- Tentar destilação sem um professor devidamente treinado para copiar.
- Executá-la em um conjunto de dados de tarefa minúsculo onde o aprendizado de máquina clássico seria melhor.
- Ignorar o peso de mistura alpha entre os termos de perda de rótulo duro e rótulo suave.
- Esperar que o aluno corresponda totalmente ao professor, em vez de se aproximar dele.
Perguntas frequentes
Por que usar rótulos suaves em vez de apenas a resposta correta?
A distribuição de probabilidade completa do professor revela o quão semelhantes as classes parecem para ele e quão confiante ele está. Este sinal extra — às vezes chamado de conhecimento escuro — ajuda o aluno a generalizar melhor do que apenas rótulos duros.
Quão menor o aluno pode ser?
Modelos destilados como DistilBERT e TinyBERT são substancialmente menores e mais rápidos que seus professores, atingindo cerca de 97% do desempenho do professor, embora o trade-off exato dependa da tarefa e da arquitetura.
O que preciso antes de destilar?
Você precisa de um modelo professor que já esteja treinado e disponível, mais um conjunto de dados específico da tarefa. Com menos de cerca de 500 observações, o aluno tem dificuldade em destilar o suficiente do professor e pode sofrer sobreajuste.
O que é o alpha na perda?
Alpha mistura as duas partes da perda de destilação: um termo de entropia cruzada nos rótulos verdadeiros e um termo de divergência de Kullback–Leibler que alinha as saídas do aluno com as do professor. Ajustá-lo equilibra o aprendizado a partir da verdade fundamental versus o aprendizado a partir do professor.
Métodos relacionados
Fontes
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Abrir referência da publicaçãoCopiado.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Abrir referência da publicaçãoCopiado.