Saltar al contenido
Volver a los resultados

Optimización Estocástica — SGD y Variantes

Año
1951 (SGD); 2014 (Adam)
Tipo
Gradient-based iterative optimization

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La optimización estocástica es una familia de métodos iterativos que minimizan una función objetivo calculando gradientes sobre subconjuntos de datos muestreados aleatoriamente — mini-lotes — en lugar de sobre todo el conjunto de datos a la vez.

Pionero por Robbins y Monro en 1951 como aproximación estocástica, el enfoque se convirtió en el motor estándar para entrenar modelos de aprendizaje automático a gran escala a través de variantes como SGD con momento, AdaGrad, RMSProp y Adam.

La intuición detrás del método

Imagina que quieres encontrar el punto más bajo en un vasto paisaje montañoso, pero medir la pendiente de todo el paisaje en cada paso es prohibitivamente caro. La optimización estocástica funciona midiendo la pendiente en un pequeño parche aleatorio del terreno en su lugar, dando un paso cuesta abajo y repitiendo el proceso muchas veces. Cada paso individual es más ruidoso que medir todo el paisaje, pero el gran número de pasos baratos te lleva al fondo más rápido que unas pocas mediciones exactas y caras. Las variantes adaptativas como Adam van más allá recordando cuán accidentada ha sido cada dirección y escalando sus pasos en consecuencia.

Historia

La optimización estocástica se remonta a Robbins y Monro (1951), quienes demostraron que las estimaciones iterativas del gradiente convergen al punto estacionario de una función bajo condiciones leves — fundando el campo de la aproximación estocástica. El descenso de gradiente estocástico se generalizó en el aprendizaje automático a través del trabajo de Bottou en la década de 1990 sobre modelos lineales a gran escala. La era del aprendizaje profundo intensificó la demanda de métodos adaptativos eficientes: Duchi et al. introdujeron AdaGrad en 2011, Tieleman y Hinton propusieron RMSProp en 2012, y Kingma y Ba publicaron Adam en 2014, que se convirtió rápidamente en el optimizador predeterminado para el entrenamiento de redes neuronales debido a su robustez en diversas arquitecturas y tareas.

Cuándo usarlo

La optimización estocástica se aplica siempre que necesite minimizar una función de pérdida diferenciable (o sub-diferenciable) sobre un conjunto de datos grande donde el cálculo de gradientes exactos sobre el conjunto de datos completo en cada paso sea computacionalmente prohibitivo. Es el enfoque estándar para entrenar redes neuronales, modelos lineales con datos grandes y cualquier modelo paramétrico ajustado por descenso de gradiente. El objetivo debe admitir un gradiente o subgradiente; el método no se aplica a problemas de caja negra no diferenciables. La selección de la tasa de aprendizaje es crítica — una tasa demasiado alta causa divergencia, una tasa demasiado baja ralentiza la convergencia.

Limitaciones y consideraciones

  • La tasa de aprendizaje es un hiperparámetro crítico; elecciones deficientes conducen a la divergencia o a una convergencia extremadamente lenta.
  • El ruido del gradiente del mini-lote puede impedir la convergencia a un mínimo exacto — el optimizador típicamente oscila cerca del óptimo en lugar de asentarse precisamente.
  • Los puntos de silla y los mínimos locales deficientes son riesgos genuinos en paisajes no convexos, aunque el ruido del gradiente y el momento ayudan a mitigarlos.
  • Adam y otros métodos adaptativos pueden converger a mínimos más agudos que generalizan peor que los mínimos más planos encontrados por SGD simple con una sintonización cuidadosa.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Escala a conjuntos de datos arbitrariamente grandes porque cada actualización utiliza solo un mini-lote, no todos los datos.
  • El ruido del gradiente del muestreo de mini-lotes puede ayudar a escapar de mínimos locales poco profundos y puntos de silla.
  • Las variantes adaptativas (Adam, RMSProp) reducen la carga de la sintonización manual de la tasa de aprendizaje ajustando automáticamente los tamaños de paso por parámetro.
  • Ampliamente soportado en todos los principales marcos de aprendizaje profundo y bien comprendido teóricamente.

Aplicaciones

  • Entrenamiento de redes neuronales de todas las profundidades — desde regresión logística hasta grandes modelos de lenguaje.
  • Ajuste de modelos lineales y linealmente generalizados a gran escala donde el descenso de gradiente por lotes completos es computacionalmente inviable.
  • Configuraciones de aprendizaje en línea donde los datos llegan en un flujo y el modelo debe actualizarse incrementalmente.
  • Métodos de gradiente de política de aprendizaje por refuerzo, donde Adam y RMSProp son opciones estándar.
  • Sistemas de recomendación y modelos de incrustación entrenados en conjuntos de datos dispersos masivos.

Cómo funciona

Cómo funciona

1

El vector de parámetros se inicializa — típicamente con valores aleatorios pequeños. La tasa de aprendizaje (tamaño del paso) y, para las variantes adaptativas, las tasas de decaimiento del momento se establecen como hiperparámetros antes de que comience el entrenamiento. Estas elecciones tienen un gran efecto en la velocidad de convergencia y el rendimiento final.

2

En cada iteración se extrae un mini-lote — un pequeño subconjunto aleatorio del conjunto de datos completo. El tamaño del mini-lote controla un compromiso: los lotes más pequeños introducen más ruido en el gradiente pero actualizan los parámetros con más frecuencia y a menudo generalizan mejor, mientras que los lotes más grandes proporcionan estimaciones de menor varianza a un costo por iteración más alto.

3

El gradiente de la función objetivo (pérdida) con respecto a los parámetros actuales se calcula utilizando el mini-lote. Para los optimizadores adaptativos, también se mantienen estimaciones de primer y segundo momento del gradiente a través de las iteraciones para rastrear la escala y la información de curvatura por parámetro.

4

Los parámetros se actualizan moviéndose en dirección opuesta a la dirección del gradiente, escalados por la tasa de aprendizaje. Las variantes adaptativas (AdaGrad, RMSProp, Adam) dividen el paso de cada parámetro por una estimación continua de las magnitudes pasadas del gradiente, dando efectivamente pasos más grandes a los parámetros actualizados con poca frecuencia y pasos más pequeños donde el gradiente ha sido grande y consistente.

5

El proceso se repite — muestreo, cálculo del gradiente y actualización de parámetros — hasta que se cumple un criterio de convergencia: la pérdida deja de disminuir, se alcanza un número máximo de iteraciones o el rendimiento de validación deja de mejorar. La detención temprana en un conjunto de validación reservado protege contra el sobreajuste.

Errores comunes

  • Establecer la tasa de aprendizaje demasiado alta hace que la pérdida diverja u oscile salvajemente; siempre monitorice la curva de pérdida durante el entrenamiento.
  • Olvidar barajar los datos antes de cada época puede introducir un sesgo periódico en las estimaciones del gradiente.
  • Usar una tasa de aprendizaje fija durante todo el entrenamiento a menudo deja rendimiento sobre la mesa — los programas de tasa de aprendizaje (calentamiento, decaimiento coseno) mejoran consistentemente los resultados finales.
  • Comparar optimizadores de manera justa requiere igualar el número total de evaluaciones de gradiente (o tiempo de reloj), no solo el número de épocas.
  • Las tasas adaptativas de Adam pueden suprimir la señal útil del gradiente en configuraciones dispersas; SGD con momento a veces generaliza mejor para tareas de clasificación de imágenes.

Preguntas frecuentes

¿Qué optimizador debería elegir: SGD, Adam o algo más?

Adam es una opción segura por defecto para la mayoría de las tareas de aprendizaje profundo: es robusto a la elección de la tasa de aprendizaje y converge rápidamente. SGD con momento y un programa de tasa de aprendizaje sintonizado a menudo logra una generalización final ligeramente mejor en puntos de referencia de clasificación de imágenes, pero requiere una sintonización más cuidadosa. AdaGrad se adapta a problemas de gradiente disperso (por ejemplo, PNL con características de bolsa de palabras), mientras que RMSProp funciona bien en el entrenamiento de redes recurrentes.

¿Cómo elijo la tasa de aprendizaje?

La tasa de aprendizaje es el hiperparámetro más importante. La práctica común es comenzar con 1e-3 para Adam y 1e-1 para SGD, luego usar un buscador de tasa de aprendizaje o una búsqueda en cuadrícula. Aplicar una fase de calentamiento seguida de un decaimiento coseno o escalonado casi siempre mejora los resultados sobre una tasa fija.

¿Qué tamaño de mini-lote debo usar?

Los tamaños de lote entre 32 y 256 son comunes. Los lotes más pequeños introducen más ruido en el gradiente (lo que puede ayudar a la generalización) y permiten actualizaciones más frecuentes; los lotes más grandes reducen el ruido pero pueden generalizar menos bien y requieren una escala de tasa de aprendizaje más cuidadosa. Al duplicar el tamaño del lote, escale la tasa de aprendizaje proporcionalmente (regla de escalado lineal) como punto de partida.

¿Cómo sé cuándo dejar de entrenar?

Monitoree la pérdida de validación y deténgase cuando deje de mejorar durante un número determinado de épocas consecutivas — una técnica llamada detención temprana. Esto es más confiable que detenerse en un número fijo de épocas y protege contra el sobreajuste.

Métodos relacionados

Fuentes

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    Abrir referencia DOI
    Copiado.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    Abrir referencia de la publicación
    Copiado.