Gradiente Descendente Estocástico (SGD)
- Proposto por
- Robbins, H. & Monro, S.
- Ano
- 1951
- Tipo
- First-order iterative optimization algorithm
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O Gradiente Descendente Estocástico (SGD) é um algoritmo de otimização iterativo de primeira ordem, enraizado no arcabouço de aproximação estocástica introduzido por Robbins e Monro em 1951, que minimiza uma função objetivo atualizando os parâmetros do modelo usando o gradiente calculado em um único exemplo de treinamento selecionado aleatoriamente (ou um pequeno mini-lote) a cada passo.
É o motor de otimização central por trás do aprendizado de máquina moderno e do aprendizado profundo, permitindo o treinamento de modelos em conjuntos de dados grandes demais para caber na memória.
A intuição por trás do método
O gradiente descendente ordinário calcula o gradiente exato da perda sobre todos os exemplos de treinamento antes de fazer uma única atualização de parâmetro — correto, mas proibitivamente lento em grandes conjuntos de dados. O SGD troca exatidão por velocidade: ele seleciona um exemplo (ou um pequeno lote) aleatoriamente, calcula uma estimativa ruidosa do gradiente e atualiza imediatamente os parâmetros. O ruído não é meramente um incômodo; ele atua como regularização implícita, ajudando o otimizador a escapar de mínimos locais rasos e pontos de sela. Ao longo de muitas iterações, os passos ruidosos se anulam e os parâmetros convergem para um mínimo da perda, muito parecido com a caminhada de um bêbado que ainda chega ao destino.
História
A base teórica para o SGD foi estabelecida por Herbert Robbins e Sutton Monro em seu artigo de 1951 'A Stochastic Approximation Method', que provou que atualizações iterativas ruidosas com um tamanho de passo decrescente convergem para a raiz de uma função de regressão. A conexão com a otimização baseada em gradiente foi explicitada por Kiefer e Wolfowitz (1952) e posteriormente pela regra LMS de Widrow e Hoff (1960) para filtragem adaptativa. O SGD ganhou proeminência no aprendizado de máquina através do trabalho de LeCun e colaboradores no final dos anos 1980 e 1990 para treinar redes neurais via retropropagação. A publicação de experimentos em larga escala por Bottou e colaboradores nos anos 2000 demonstrou a superioridade do SGD sobre métodos em lote em conjuntos de dados industriais. A formulação moderna de SGD com mini-lotes tornou-se universal com o renascimento do aprendizado profundo por volta de 2012 (AlexNet), e o algoritmo permanece o otimizador dominante no campo, com variantes como Adam (Kingma & Ba, 2014) construídas diretamente em sua regra de atualização.
Quando usar
O SGD é o método de escolha sempre que o conjunto de treinamento é grande o suficiente para que o cálculo do gradiente completo por atualização seja muito custoso, o que abrange virtualmente todo o treinamento moderno de redes neurais e o ajuste de modelos lineares em larga escala. Ele se aplica a qualquer função de perda diferenciável. Suposições chave: a perda é diferenciável (ou sub-diferenciável) em relação aos parâmetros, os pontos de dados são amostrados independentemente e o estimador de gradiente é não enviesado. Para objetivos fortemente convexos, o SGD atinge convergência O(1/T); para objetivos não convexos gerais (por exemplo, redes profundas), ele encontra pontos estacionários na prática, embora nenhuma garantia de otimalidade global exista. O SGD com mini-lotes (tamanhos de lote de 32–512) é tipicamente preferido sobre o SGD puro com um único exemplo, pois fornece estimativas de gradiente de menor variância e explora o paralelismo em hardware moderno. Quando o conjunto de dados é pequeno o suficiente para o gradiente descendente em lote completo e o objetivo é bem condicionado, métodos de segunda ordem como L-BFGS podem convergir mais rapidamente.
Limitações e considerações
- As estimativas de gradiente são ruidosas, o que faz com que a perda flutue em vez de diminuir monotonicamente, tornando a convergência mais difícil de diagnosticar.
- Altamente sensível à taxa de aprendizado: muito alta causa divergência; muito baixa torna o treinamento proibitivamente lento.
- A convergência para um mínimo global não é garantida para objetivos não convexos, como redes neurais profundas.
- Atualizações isotrópicas tratam todas as dimensões de parâmetros igualmente, tornando-o inadequado para superfícies de perda com curvaturas muito diferentes em eixos distintos — motivando variantes de taxa adaptativa.
- Requer ajuste cuidadoso do cronograma da taxa de aprendizado; cronogramas ruins degradam substancialmente o desempenho final.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Escala para conjuntos de dados arbitrariamente grandes, pois cada atualização requer apenas um exemplo ou um mini-lote, mantendo a memória e a computação por passo constantes.
- O ruído embutido fornece regularização implícita e ajuda a escapar de mínimos locais rasos e pontos de sela em paisagens não convexas.
- Extremamente geral: aplicável a qualquer perda diferenciável, incluindo entropia cruzada, erro quadrático médio, perda hinge e objetivos personalizados.
- Forma a base de quase todos os otimizadores modernos (Adam, RMSProp, AdaGrad, momento de Nesterov) — entender o SGD é pré-requisito para entendê-los.
- Simples de implementar e paralelizar em GPUs usando mini-lotes.
Aplicações
- Treinamento de redes neurais profundas para classificação de imagens, reconhecimento de fala e processamento de linguagem natural.
- Ajuste de modelos de regressão logística e SVM linear em larga escala em classificação de texto e sistemas de recomendação.
- Configurações de aprendizado online onde os exemplos chegam sequencialmente e o modelo deve ser atualizado em tempo real.
- Métodos de gradiente de política em aprendizado por reforço, onde o retorno esperado é otimizado usando trajetórias amostradas.
- Fatoração de matrizes para filtragem colaborativa em sistemas de recomendação.
Como funciona
Como funciona
O objetivo de treinamento é a perda média sobre todos os n exemplos. Para tarefas como classificação com entropia cruzada ou regressão com erro quadrático, essa soma pode ter bilhões de termos, tornando a avaliação completa a cada iteração impraticável.
Fórmula
L(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i; \theta),\, y_i)No passo t, um único exemplo de treinamento (ou mini-lote) é amostrado uniformemente ao acaso. O gradiente da perda nessa amostra é um estimador não enviesado do gradiente verdadeiro, de modo que, em média, a atualização aponta na direção correta, embora seja ruidosa para qualquer passo individual.
Fórmula
\hat{g}_t = \nabla_\theta \ell(f(x_{i_t}; \theta_t),\, y_{i_t})O vetor de parâmetros é movido na direção oposta à estimativa do gradiente, escalado pela taxa de aprendizado eta_t. Uma taxa de aprendizado menor torna as atualizações cautelosas, mas lentas; uma taxa maior acelera a convergência, mas corre o risco de ultrapassar o alvo. Esta única linha — a atualização de Robbins–Monro — é o coração de quase todos os otimizadores modernos.
Fórmula
\theta_{t+1} = \theta_t - \eta_t \, \hat{g}_tAs condições de Robbins–Monro (soma das taxas diverge, soma dos quadrados das taxas converge) garantem a convergência para objetivos convexos. Na prática, cronogramas comuns incluem decaimento em degraus (step decay), recozimento por cosseno (cosine annealing) e reinícios quentes (warm restarts); as condições fornecem a base teórica para o porquê de um cronograma decrescente ser necessário.
Fórmula
\sum_{t=1}^{\infty} \eta_t = \infty, \quad \sum_{t=1}^{\infty} \eta_t^2 < \inftyErros comuns
- Usar uma taxa de aprendizado constante durante todo o treinamento sem nenhum cronograma de decaimento, fazendo com que o otimizador oscile em torno do mínimo em vez de se acomodar nele.
- Escolher o tamanho do lote sem considerar o efeito de regularização implícita: lotes muito grandes reduzem o ruído e podem prejudicar a generalização em comparação com lotes menores com o mesmo número de épocas.
- Esquecer de embaralhar os dados de treinamento antes de cada época, o que pode introduzir viés sistemático quando os dados são ordenados por classe ou tempo.
- Ajustar a taxa de aprendizado apenas na perda de validação uma vez, em vez de monitorar as curvas de treinamento, perdendo sinais de divergência ou platô prematuro.
- Tratar o SGD como um otimizador de caixa preta sem entender suas propriedades de convergência, e então mudar cegamente para Adam quando a convergência parece lenta sem diagnosticar a causa raiz.
Perguntas frequentes
Qual é a diferença entre SGD, SGD com mini-lotes e gradiente descendente em lote completo?
O gradiente descendente em lote completo calcula o gradiente exato sobre todos os n exemplos de treinamento por atualização — preciso, mas com custo O(n) por passo. O SGD puro usa exatamente um exemplo escolhido aleatoriamente por atualização — custo O(1), mas muito ruidoso. O SGD com mini-lotes usa um pequeno subconjunto aleatório (tipicamente 32–512 exemplos) — um compromisso prático que reduz o ruído, mantendo o custo gerenciável e explorando o paralelismo da GPU. No uso moderno, 'SGD' quase sempre significa SGD com mini-lotes.
Como devo definir a taxa de aprendizado?
Não há resposta universal, mas uma prática comum é começar com um valor moderado (por exemplo, 0,01 ou 0,1), monitorar a curva de perda de treinamento e aplicar um cronograma de decaimento, como decaimento em degraus, recozimento por cosseno (cosine annealing) ou reinícios quentes. Buscadores de taxa de aprendizado (learning rate finders) (varrendo taxas sobre alguns lotes e observando a perda) podem identificar um bom valor inicial. A teoria de Robbins–Monro exige que a taxa decaia para zero, mas na prática o decaimento é frequentemente aplicado suavemente para evitar desaceleração prematura.
Por que o SGD às vezes generaliza melhor que o Adam?
Otimizadores de taxa adaptativa como Adam frequentemente convergem mais rápido, mas podem superajustar mais, particularmente em tarefas de classificação de imagens. O ruído mais alto no SGD — especialmente em tamanhos de lote pequenos — atua como regularização implícita, ajudando o modelo a encontrar mínimos mais planos que generalizam melhor. Vários estudos empíricos (por exemplo, Wilson et al., 2017) documentaram esse fenômeno, razão pela qual o SGD com momento ainda é preferido para treinar modelos de visão computacional como o ResNet.
O SGD garante encontrar o mínimo global?
Apenas para objetivos estritamente convexos, sob as condições de tamanho de passo de Robbins–Monro. Para objetivos não convexos (virtualmente todas as redes profundas), o SGD fornece convergência para um ponto estacionário (onde o gradiente é zero), que na prática tende a ser um bom mínimo local em vez de um ponto de sela ou o mínimo global. Empiricamente, as soluções encontradas são frequentemente boas o suficiente para desempenho de ponta.
Métodos relacionados
Fontes
Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407.
Abrir referência DOICopiado.Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press.
ISBN: 978-0-262-03561-3Copiado.