Skip to content
Voltar aos resultados

Otimização Estocástica — SGD e Variantes

Ano
1951 (SGD); 2014 (Adam)
Tipo
Gradient-based iterative optimization

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A otimização estocástica é uma família de métodos iterativos que minimizam uma função objetivo computando gradientes em subconjuntos aleatoriamente amostrados de dados — mini-lotes — em vez de no conjunto de dados inteiro de uma vez.

Pioneira por Robbins e Monro em 1951 como aproximação estocástica, a abordagem tornou-se o motor padrão para treinar modelos de aprendizado de máquina em larga escala através de variantes como SGD com momento, AdaGrad, RMSProp e Adam.

A intuição por trás do método

Imagine que você quer encontrar o ponto mais baixo em uma vasta paisagem montanhosa, mas medir a inclinação de toda a paisagem a cada passo é proibitivamente caro. A otimização estocástica funciona medindo a inclinação em uma pequena área aleatória do terreno em vez disso, dando um passo para baixo e repetindo o processo muitas vezes. Cada passo individual é mais ruidoso do que medir toda a paisagem, mas o grande número de passos baratos o leva ao fundo mais rápido do que algumas medições exatas e caras fariam. Variantes adaptativas como Adam vão além, lembrando o quão acidentada cada direção tem sido e escalando seus passos de acordo.

História

A otimização estocástica remonta a Robbins e Monro (1951), que provaram que estimativas iterativas de gradiente convergem para um ponto estacionário de uma função sob condições brandas — fundando o campo da aproximação estocástica. O gradiente descendente estocástico tornou-se amplamente utilizada em aprendizado de máquina através do trabalho de Bottou nos anos 1990 em modelos lineares em larga escala. A era do aprendizado profundo intensificou a demanda por métodos adaptativos eficientes: Duchi et al. introduziram AdaGrad em 2011, Tieleman e Hinton propuseram RMSProp em 2012, e Kingma e Ba publicaram Adam em 2014, que rapidamente se tornou o otimizador padrão para treinamento de redes neurais devido à sua robustez em diversas arquiteturas e tarefas.

Quando usar

A otimização estocástica aplica-se sempre que você precisa minimizar uma função de perda diferenciável (ou subdiferenciável) em um grande conjunto de dados onde o cálculo de gradientes exatos no conjunto de dados completo a cada passo é computacionalmente proibitivo. É a abordagem padrão para treinar redes neurais, modelos lineares com grandes volumes de dados e qualquer modelo paramétrico ajustado por descida de gradiente. O objetivo deve admitir um gradiente ou subgradiente; o método não se aplica a problemas de caixa preta não diferenciáveis. A seleção da taxa de aprendizado é crítica — uma taxa muito alta causa divergência, uma taxa muito baixa retarda a convergência.

Limitações e considerações

  • A taxa de aprendizado é um hiperparâmetro crítico; escolhas ruins levam à divergência ou convergência extremamente lenta.
  • O ruído do gradiente de mini-lotes pode impedir a convergência para um mínimo exato — o otimizador tipicamente oscila perto do ótimo em vez de se estabilizar precisamente.
  • Pontos de sela e mínimos locais ruins são riscos genuínos em paisagens não convexas, embora o ruído do gradiente e o momento ajudem a mitigá-los.
  • Adam e outros métodos adaptativos podem convergir para mínimos mais agudos que generalizam pior do que os mínimos mais planos encontrados pelo SGD puro com ajuste cuidadoso.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Escala para conjuntos de dados arbitrariamente grandes porque cada atualização usa apenas um mini-lote, não os dados completos.
  • O ruído do gradiente da amostragem de mini-lotes pode ajudar a escapar de mínimos locais rasos e pontos de sela.
  • Variantes adaptativas (Adam, RMSProp) reduzem o esforço do ajuste manual da taxa de aprendizado, ajustando automaticamente os tamanhos dos passos por parâmetro.
  • Amplamente suportado em todos os principais bibliotecas de aprendizado profundo e bem compreendido teoricamente.

Aplicações

  • Treinamento de redes neurais de todas as profundidades — de regressão logística a grandes modelos de linguagem.
  • Ajuste de modelos lineares e generalizados lineares em larga escala onde a gradiente descendente em lote completo é computacionalmente inviável.
  • Configurações de aprendizado online onde os dados chegam em um fluxo e o modelo deve ser atualizado incrementalmente.
  • Métodos de gradiente de política de aprendizado por reforço, onde Adam e RMSProp são escolhas padrão.
  • Sistemas de recomendação e modelos de incorporação treinados em conjuntos de dados esparsos massivos.

Como funciona

Como funciona

1

O vetor de parâmetros é inicializado — tipicamente com pequenos valores aleatórios. A taxa de aprendizado (tamanho do passo) e, para variantes adaptativas, as taxas de decaimento do momento são definidas como hiperparâmetros antes do início do treinamento. Essas escolhas têm um grande efeito na velocidade de convergência e no desempenho final.

2

A cada iteração, um mini-lote — um pequeno subconjunto aleatório do conjunto de dados completo — é extraído. O tamanho do mini-lote controla um compromisso: lotes menores introduzem mais ruído de gradiente, mas atualizam os parâmetros com mais frequência e geralmente generalizam melhor, enquanto lotes maiores fornecem estimativas de menor variância a um custo por iteração mais alto.

3

O gradiente da função objetivo (perda) em relação aos parâmetros atuais é computado usando o mini-lote. Para otimizadores adaptativos, as estimativas do primeiro e segundo momento do gradiente também são mantidas ao longo das iterações para rastrear a escala e a informação de curvatura por parâmetro.

4

Os parâmetros são atualizados movendo-se na direção oposta ao gradiente, escalados pela taxa de aprendizado. Variantes adaptativas (AdaGrad, RMSProp, Adam) dividem o passo de cada parâmetro por uma estimativa contínua das magnitudes passadas do gradiente, efetivamente dando passos maiores a parâmetros atualizados com pouca frequência e passos menores onde o gradiente tem sido grande e consistente.

5

O processo se repete — amostragem, computação de gradiente e atualização de parâmetros — até que um critério de convergência seja atendido: a perda para de diminuir, um número máximo de iterações é atingido ou o desempenho de validação para de melhorar. A parada antecipada em um conjunto de validação mantido à parte protege contra o sobreajuste.

Erros comuns

  • Definir a taxa de aprendizado muito alta faz com que a perda divirja ou oscile violentamente; sempre monitore a curva de perda durante o treinamento.
  • Esquecer de embaralhar os dados antes de cada época pode introduzir viés periódico nas estimativas do gradiente.
  • Usar uma taxa de aprendizado fixa durante todo o treinamento muitas vezes desperdiça desempenho — cronogramas de taxa de aprendizado (aquecimento, decaimento cosseno) melhoram consistentemente os resultados finais.
  • Comparar otimizadores de forma justa requer a correspondência do número total de avaliações de gradiente (ou tempo de relógio de parede (wall-clock)), não apenas o número de épocas.
  • As taxas adaptativas do Adam podem suprimir o sinal útil do gradiente em configurações esparsas; SGD com momento às vezes generaliza melhor para tarefas de classificação de imagens.

Perguntas frequentes

Qual otimizador devo escolher — SGD, Adam ou algo mais?

Adam é um padrão seguro para a maioria das tarefas de aprendizado profundo: é robusto à escolha da taxa de aprendizado e converge rapidamente. SGD com momento e um cronograma de taxa de aprendizado ajustado frequentemente alcança generalização final ligeiramente melhor em benchmarks de classificação de imagens, mas requer ajuste mais cuidadoso. AdaGrad é adequado para problemas de gradiente esparso (por exemplo, PLN com recursos de saco de palavras), enquanto RMSProp funciona bem no treinamento de redes recorrentes.

Como escolho a taxa de aprendizado?

A taxa de aprendizado é o hiperparâmetro mais importante. A prática comum é começar com 1e-3 para Adam e 1e-1 para SGD, então usar um buscador de taxa de aprendizado (learning rate finder) ou busca em grade. Aplicar uma fase de aquecimento seguida por decaimento cosseno ou em degraus quase sempre melhora os resultados em relação a uma taxa fixa.

Qual tamanho de mini-lote devo usar?

Tamanhos de lote entre 32 e 256 são comuns. Lotes menores introduzem mais ruído de gradiente (o que pode ajudar na generalização) e permitem atualizações mais frequentes; lotes maiores reduzem o ruído, mas podem generalizar menos bem e requerem escalonamento de taxa de aprendizado mais cuidadoso. Ao dobrar o tamanho do lote, escale a taxa de aprendizado proporcionalmente (regra de escalonamento linear) como ponto de partida.

Como sei quando parar o treinamento?

Monitore a perda de validação e pare quando ela parar de melhorar por um número definido de épocas consecutivas — uma técnica chamada parada antecipada. Isso é mais confiável do que parar em um número fixo de épocas e protege contra o sobreajuste.

Métodos relacionados

Fontes

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    Abrir referência DOI
    Copiado.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    Abrir referência da publicação
    Copiado.