Skip to content
Voltar aos resultados

Busca de Arquitetura Neural

Proposto por
Zoph, B. & Le, Q.V.
Ano
2017
Tipo
Automated architecture optimization (deep learning)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Busca de Arquitetura Neural (NAS), introduzida por Zoph e Le em 2017, otimiza automaticamente decisões arquitetônicas como profundidade, largura e estrutura de conexão de uma rede, em vez de projetá-las manualmente.

Métodos líderes na área incluem DARTS, ENAS e Once-for-All.

A intuição por trás do método

Projetar uma rede profunda manualmente significa adivinhar quantas camadas empilhar, quão larga cada uma deve ser e como elas devem se conectar — um ofício lento de tentativa e erro. A NAS transforma esse ofício em um problema de busca: um computador explora um espaço definido de arquiteturas candidatas, as pontua e converge para um design que tem bom desempenho, de modo que a arquitetura é descoberta em vez de adivinhada.

História

A Busca de Arquitetura Neural foi introduzida por Barret Zoph e Quoc V. Le em 2017, que usaram aprendizado por reforço para que um controlador propusesse arquiteturas de rede. O alto custo dessa abordagem impulsionou uma onda de métodos mais eficientes: ENAS introduziu o compartilhamento de pesos entre candidatos, DARTS (Liu et al., 2019) tornou a busca diferenciável para que pudesse ser otimizada por descida de gradiente, e Once-for-All treinou uma única super-rede da qual sub-redes especializadas poderiam ser extraídas. Juntos, esses avanços transformaram a NAS de uma curiosidade de pesquisa que exigia enorme computação em uma ferramenta mais prática para o design automatizado de modelos.

Quando usar

Use NAS quando precisar projetar uma rede profunda de alto desempenho para predição ou classificação em dados contínuos ou de texto, você tiver um grande conjunto de dados (aproximadamente 1000 observações ou mais), o espaço de busca for bem definido e um grande orçamento computacional com recursos de GPU/TPU estiver disponível. Com amostras pequenas, o espaço de busca não pode ser avaliado de forma confiável e as arquiteturas candidatas sofrem sobreajuste; abaixo de cerca de 1000 observações, uma Floresta Aleatória é uma escolha mais segura e abaixo de 500, um modelo padrão como o gradient boosting é preferível.

Limitações e considerações

  • Requer um grande orçamento computacional e, frequentemente, um cluster de GPU/TPU.
  • Necessita de um grande conjunto de dados (cerca de 1000+ observações) para avaliar candidatos de forma confiável.
  • A qualidade depende fortemente de um espaço de busca bem definido, que por si só exige expertise.
  • Em dados pequenos, as arquiteturas candidatas sofrem sobreajuste e a busca se torna não confiável.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Automatiza o design da arquitetura, eliminando o lento processo manual de tentativa e erro.
  • Pode descobrir redes que superam designs feitos manualmente na tarefa alvo.
  • Pouca suposição sobre os dados: sem requisito de normalidade; lida com entradas contínuas e de texto.
  • Flexível entre tarefas e estruturas de dados, uma vez que o espaço de busca é especificado.
  • Variantes de compartilhamento de pesos e super-rede (ENAS, Once-for-All) reduzem acentuadamente o custo da busca.

Aplicações

  • Projetar automaticamente redes de classificação de imagens de alto desempenho.
  • Otimizar arquiteturas para tarefas de predição em dados tabulares ou sequenciais grandes.
  • Buscar sub-redes eficientes adaptadas a orçamentos de hardware (por exemplo, mobile ou edge).
  • Design automatizado de modelos onde o ajuste manual da arquitetura é impraticável.

Como funciona

Como funciona

1

Primeiro, define-se um espaço de busca — o conjunto de escolhas arquitetônicas que o procedimento pode considerar, como o número de camadas, a largura de cada camada, as operações candidatas e como os blocos podem se conectar. Um espaço de busca bem definido é essencial: se for muito estreito, exclui bons designs; se for muito amplo, a busca se torna intratável.

2

Uma estratégia de busca, então, explora esse espaço para encontrar uma arquitetura forte. As primeiras NAS usaram aprendizado por reforço para propor arquiteturas (Zoph e Le), enquanto DARTS tornou a busca diferenciável ao relaxar escolhas discretas em pesos contínuos, permitindo que a descida de gradiente otimizasse os parâmetros da arquitetura contra a perda de validação. Essa etapa consome muitos recursos computacionais e geralmente requer um cluster de GPU ou TPU e um grande orçamento computacional.

Fórmula
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)
3

Cada arquitetura candidata é treinada e avaliada nos dados, e o design com melhor desempenho é selecionado e treinado até a conclusão. Como avaliar muitos candidatos é caro, métodos como ENAS compartilham pesos entre candidatos e Once-for-All treina uma única super-rede da qual muitas sub-arquiteturas podem ser extraídas, reduzindo drasticamente o custo da busca.

Erros comuns

  • Executar NAS em um conjunto de dados pequeno, onde os candidatos sofrem sobreajuste e as classificações são sem sentido.
  • Definir um espaço de busca que seja amplo demais para explorar ou estreito demais para conter bons designs.
  • Subestimar o custo computacional e parar a busca antes que ela convirja.
  • Selecionar uma arquitetura em uma divisão de validação e não retreiná-la e testá-la de forma limpa.
  • Optar por NAS quando um modelo padrão já seria suficiente para o problema.

Perguntas frequentes

Como a NAS difere do ajuste de hiperparâmetros?

O ajuste de hiperparâmetros ajusta as configurações de uma arquitetura fixa, como a taxa de aprendizado ou o número de árvores. A NAS busca sobre a própria arquitetura — o número e a largura das camadas, as operações e como elas se conectam — descobrindo a estrutura da rede em vez de apenas ajustar uma escolhida.

Por que a NAS é tão computacionalmente cara?

A NAS ingênua treina e avalia muitas arquiteturas candidatas, cada uma sendo uma rede profunda completa. Isso geralmente requer um cluster de GPU ou TPU e um grande orçamento. Métodos como ENAS (compartilhamento de pesos) e Once-for-All (uma única super-rede) foram desenvolvidos especificamente para reduzir esse custo.

Quanta dados eu preciso para NAS?

A NAS espera um grande conjunto de dados, aproximadamente 1000 observações ou mais. Com menos de cerca de 1000, o espaço de busca não pode ser avaliado de forma confiável e os candidatos sofrem sobreajuste, tornando uma Floresta Aleatória mais segura; abaixo de 500, um modelo padrão como o gradient boosting é preferível.

O que o DARTS contribui?

O DARTS torna a busca diferenciável ao relaxar a escolha discreta de operações em pesos contínuos, de modo que a arquitetura possa ser otimizada com descida de gradiente em vez de aprendizado por reforço. Isso tornou a busca de arquitetura muito mais rápida do que a abordagem original de aprendizado por reforço.

Métodos relacionados

Fontes

  1. Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.

    Abrir referência da publicação
    Copiado.
  2. Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.

    Abrir referência da publicação
    Copiado.