Autoencoder
- Proposto por
- Hinton, G.E. & Salakhutdinov, R.R.
- Ano
- 2006
- Tipo
- Neural network (encoder-decoder)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Um autoencoder é uma rede neural codificadora-decodificadora, popularizada por Hinton e Salakhutdinov em 2006, que comprime dados num código latente de baixa dimensionalidade e depois os reconstrói, permitindo a redução de dimensionalidade e a deteção de anomalias.
Ao aprender a reconstruir a sua própria entrada através de um gargalo estreito, descobre uma representação compacta dos dados.
A intuição por trás do método
Imagine ser solicitado a resumir um longo documento numa única frase e depois reescrever o documento completo a partir dessa frase. Para fazer isso bem, você deve manter apenas o que é mais importante. Um autoencoder aprende exatamente essa disciplina: ele espreme cada observação através de um gargalo estreito e tenta reconstruir o original a partir do código espremido. O que quer que sobreviva à compressão é a essência dos dados, e as entradas que a rede não consegue reconstruir bem destacam-se como anomalias.
História
A ideia do autoencoder de aprender um código compacto reconstruindo a entrada foi trazida à proeminência por Geoffrey Hinton e Ruslan Salakhutdinov em seu artigo de 2006 na Science, que mostrou que redes neurais profundas poderiam reduzir a dimensionalidade dos dados de forma mais eficaz do que técnicas lineares clássicas. Este trabalho ajudou a estabelecer redes neurais como uma ferramenta prática para aprendizagem de representação.
Quando usar
Use um autoencoder para redução de dimensionalidade não linear ou deteção de anomalias em dados de valor contínuo quando tiver uma amostra razoavelmente grande — aproximadamente 200 observações ou mais. Não requer dados normalmente distribuídos, mas precisa de dados suficientes para aprender um espaço latente significativo, e a escolha do tamanho da camada oculta é crítica. Com amostras pequenas (abaixo de cerca de 200) a PCA é a escolha mais segura, e abaixo de cerca de 50 a redução de dimensionalidade por redes neurais falha completamente.
Limitações e considerações
- Necessita de uma amostra razoavelmente grande — cerca de 200 observações ou mais — para aprender um espaço latente significativo.
- A escolha do tamanho da camada oculta (latente) é crítica e afeta fortemente os resultados.
- Em conjuntos de dados pequenos, não consegue aprender o espaço latente e a PCA mais simples é preferível.
- Abaixo de cerca de 50 observações, a redução de dimensionalidade baseada em redes neurais falha completamente.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Captura estrutura não linear que métodos lineares como a PCA não conseguem.
- Serve tanto para redução de dimensionalidade quanto para deteção de anomalias a partir da mesma representação aprendida.
- Poucas suposições: não requer dados normalmente distribuídos.
- O código latente fornece uma representação compacta e aprendida de dados contínuos complexos.
Aplicações
- Redução de dimensionalidade não linear de dados contínuos de alta dimensionalidade.
- Deteção de anomalias sinalizando observações com grande erro de reconstrução.
- Aprendizagem de representações latentes compactas como características para tarefas subsequentes.
- Análise exploratória de dados complexos onde a redução linear é insuficiente.
Como funciona
Como funciona
O codificador mapeia a entrada através de uma ou mais camadas ocultas para um código latente de baixa dimensionalidade. O tamanho desta camada oculta (gargalo) é a escolha crítica de design: muito larga e a rede simplesmente copia a entrada, muito estreita e ela perde estrutura significativa.
Fórmula
z = f(Wx + b)
O decodificador pega o código latente e o expande de volta através de camadas ocultas em direção à dimensionalidade original, produzindo uma reconstrução da entrada. O codificador e o decodificador são treinados juntos como uma única rede.
Fórmula
\hat{x} = g(W'z + b')O treino minimiza o erro de reconstrução — a diferença entre a entrada e a sua versão reconstruída. Uma vez treinado, o código latente serve como uma representação comprimida para redução de dimensionalidade, enquanto grandes erros de reconstrução sinalizam observações que não se encaixam nos padrões aprendidos, apoiando a deteção de anomalias.
Fórmula
\min \; \lVert x - \hat{x} \rVert^2Erros comuns
- Aplicá-lo a amostras pequenas onde a PCA seria tanto adequada quanto mais confiável.
- Definir o gargalo muito largo, de modo que a rede copie a entrada em vez de a comprimir.
- Definir o gargalo muito estreito, descartando estrutura significativa.
- Usá-lo em tipos de dados para os quais não é adequado, em vez de características de valor contínuo.
Perguntas frequentes
Como um autoencoder difere da PCA?
A PCA encontra a melhor projeção linear dos dados, enquanto um autoencoder pode aprender representações não lineares através das suas camadas ocultas. Para amostras pequenas ou quando um resumo linear é suficiente, a PCA é mais simples e confiável; os autoencoders compensam quando os dados têm estrutura não linear e a amostra é grande o suficiente.
Quanta quantidade de dados é necessária?
Aproximadamente 200 observações ou mais. Abaixo disso, a rede não consegue aprender um espaço latente significativo e a PCA é a escolha mais segura; abaixo de cerca de 50 observações, a redução de dimensionalidade por redes neurais falha completamente.
Como detetar anomalias com ele?
Após o treino, passe as observações pela rede e meça o seu erro de reconstrução. Pontos que o modelo reconstrói mal — aqueles com erro grande — não se encaixam nos padrões aprendidos e são sinalizados como anomalias.
Qual é a configuração mais importante a acertar?
O tamanho da camada oculta (gargalo). Muito larga e a rede apenas copia a entrada sem aprender uma compressão útil; muito estreita e ela descarta estrutura significativa.
Métodos relacionados
Fontes
Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.
Abrir referência DOICopiado.