Skip to content
Назад к результатам поиска

Стохастическая оптимизация — СГС и ее варианты

Год
1951 (SGD); 2014 (Adam)
Тип
Gradient-based iterative optimization

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Стохастическая оптимизация — это семейство итеративных методов, которые минимизируют целевую функцию, вычисляя градиенты на случайно выбранных подмножествах данных — мини-пакетах — вместо всего набора данных сразу.

Этот подход, впервые предложенный Роббинсом и Монро в 1951 году как стохастическая аппроксимация, стал стандартным механизмом для обучения крупномасштабных моделей машинного обучения благодаря таким вариантам, как СГС с моментом, AdaGrad, RMSProp и Adam.

Интуиция метода

Представьте, что вы хотите найти самую низкую точку на обширном холмистом ландшафте, но измерение уклона всего ландшафта на каждом шаге непомерно дорого. Стохастическая оптимизация работает, измеряя уклон на небольшом случайном участке земли, делая шаг вниз и повторяя процесс много раз. Каждый отдельный шаг более шумный, чем измерение всего ландшафта, но огромное количество дешевых шагов приводит к цели быстрее, чем несколько дорогих точных измерений. Адаптивные варианты, такие как Adam, идут дальше, запоминая, насколько изменчивым было каждое направление, и соответствующим образом масштабируя шаги.

История

Стохастическая оптимизация восходит к Роббинсу и Монро (1951), которые доказали, что итеративные оценки градиента сходятся к стационарной точке функции при мягких условиях — основав область стохастической аппроксимации. Стохастический градиентный спуск получил широкое распространение в машинном обучении благодаря работе Ботту в 1990-х годах над крупномасштабными линейными моделями. Эпоха глубокого обучения усилила спрос на эффективные адаптивные методы: Дучи и др. представили AdaGrad в 2011 году, Тилеман и Хинтон предложили RMSProp в 2012 году, а Кингма и Ба опубликовали Adam в 2014 году, который быстро стал оптимизатором по умолчанию для обучения нейронных сетей благодаря своей надежности для различных архитектур и задач.

Когда применять

Стохастическая оптимизация применяется всякий раз, когда необходимо минимизировать дифференцируемую (или субдифференцируемую) функцию потерь на большом наборе данных, где вычисление точных градиентов на полном наборе данных на каждом шаге вычислительно невозможно. Это стандартный подход для обучения нейронных сетей, линейных моделей с большими данными и любых параметрических моделей, подгоняемых методом градиентного спуска. Целевая функция должна допускать градиент или субградиент; метод не применим к недифференцируемым задачам типа «черный ящик». Выбор скорости обучения критичен — слишком высокая скорость вызывает расходимость, слишком низкая замедляет сходимость.

Ограничения и замечания

  • Скорость обучения — критический гиперпараметр; неправильный выбор приводит к расходимости или чрезвычайно медленной сходимости.
  • Шум градиента мини-пакетов может помешать сходимости к точному минимуму — оптимизатор обычно колеблется около оптимума, а не точно стабилизируется.
  • Седловые точки и плохие локальные минимумы являются реальными рисками в невыпуклых ландшафтах, хотя шум градиента и момент помогают их смягчить.
  • Adam и другие адаптивные методы могут сходиться к более острым минимумам, которые обобщаются хуже, чем более плоские минимумы, найденные простым СГС при тщательной настройке.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Масштабируется до произвольно больших наборов данных, поскольку каждое обновление использует только мини-пакет, а не полные данные.
  • Шум градиента от выборки мини-пакетов может помочь избежать мелких локальных минимумов и седловых точек.
  • Адаптивные варианты (Adam, RMSProp) снижают нагрузку по ручной настройке скорости обучения, автоматически корректируя размеры шагов для каждого параметра.
  • Широко поддерживается всеми основными фреймворками глубокого обучения и хорошо изучен теоретически.

Применение

  • Обучение нейронных сетей любой глубины — от логистической регрессии до больших языковых моделей.
  • Подгонка крупномасштабных линейных и обобщенных линейных моделей, где полнопакетный градиентный спуск вычислительно невозможен.
  • Сценарии онлайн-обучения, где данные поступают потоком, и модель должна обновляться инкрементально.
  • Методы градиента политики в обучении с подкреплением, где Adam и RMSProp являются стандартным выбором.
  • Рекомендательные системы и модели встраивания, обученные на массивных разреженных наборах данных.

Как это работает

Как это работает

1

Вектор параметров инициализируется — обычно небольшими случайными значениями. Скорость обучения (размер шага) и, для адаптивных вариантов, коэффициенты затухания момента устанавливаются как гиперпараметры перед началом обучения. Эти выборы оказывают большое влияние на скорость сходимости и конечную производительность.

2

На каждой итерации выбирается мини-пакет — небольшое случайное подмножество полного набора данных. Размер мини-пакета контролирует компромисс: меньшие пакеты вносят больше шума градиента, но обновляют параметры чаще и часто лучше обобщаются, в то время как большие пакеты дают оценки с меньшей дисперсией при более высокой стоимости за итерацию.

3

Градиент целевой (функции потерь) функции по отношению к текущим параметрам вычисляется с использованием мини-пакета. Для адаптивных оптимизаторов также поддерживаются оценки первого и второго моментов градиента на протяжении итераций для отслеживания масштаба и информации о кривизне для каждого параметра.

4

Параметры обновляются путем движения в направлении, противоположном градиенту, масштабированному скоростью обучения. Адаптивные варианты (AdaGrad, RMSProp, Adam) делят шаг каждого параметра на текущую оценку прошлых величин градиента, фактически давая большие шаги редко обновляемым параметрам и меньшие шаги там, где градиент был большим и постоянным.

5

Процесс повторяется — выборка, вычисление градиента и обновление параметров — до тех пор, пока не будет достигнут критерий сходимости: потери перестают уменьшаться, достигнуто максимальное количество итераций или производительность на валидационном наборе перестает улучшаться. Ранняя остановка на отложенном валидационном наборе защищает от переобучения.

Частые ошибки

  • Установка слишком высокой скорости обучения приводит к расходимости или сильным колебаниям потерь — всегда отслеживайте кривую потерь во время обучения.
  • Забывание перемешать данные перед каждой эпохой может внести периодическую предвзятость в оценки градиента.
  • Использование фиксированной скорости обучения на протяжении всего обучения часто оставляет желать лучшего в плане производительности — расписания скорости обучения (разогрев, косинусное затухание) последовательно улучшают конечные результаты.
  • Справедливое сравнение оптимизаторов требует сопоставления общего числа вычислений градиентов (или времени выполнения), а не только количества эпох.
  • Адаптивные скорости Adam могут подавлять полезный сигнал градиента в разреженных условиях; СГС с моментом иногда лучше обобщается для задач классификации изображений.

Часто задаваемые вопросы

Какой оптимизатор мне выбрать — SGD, Adam или что-то другое?

Adam — безопасный выбор по умолчанию для большинства задач глубокого обучения: он устойчив к выбору скорости обучения и быстро сходится. SGD с моментом и настроенным расписанием скорости обучения часто достигает немного лучшей конечной обобщающей способности на бенчмарках классификации изображений, но требует более тщательной настройки. AdaGrad подходит для задач с разреженными градиентами (например, НЛП с признаками «мешок слов»), в то время как RMSProp хорошо работает при обучении рекуррентных сетей.

Как выбрать скорость обучения?

Скорость обучения — самый важный гиперпараметр. Общепринятая практика — начинать с 1e-3 для Adam и 1e-1 для SGD, затем использовать искатель скорости обучения или поиск по сетке. Применение фазы разогрева с последующим косинусным или ступенчатым затуханием почти всегда улучшает результаты по сравнению с фиксированной скоростью.

Какой размер мини-пакета использовать?

Обычные размеры пакетов — от 32 до 256. Меньшие пакеты вносят больше шума градиента (что может способствовать обобщению) и позволяют чаще обновляться; большие пакеты уменьшают шум, но могут обобщаться хуже и требуют более тщательного масштабирования скорости обучения. При удвоении размера пакета масштабируйте скорость обучения пропорционально (правило линейного масштабирования) в качестве отправной точки.

Как узнать, когда прекратить обучение?

Отслеживайте потери на валидационном наборе и останавливайтесь, когда они перестают улучшаться в течение заданного числа последовательных эпох — техника, называемая ранней остановкой. Это надежнее, чем останавливаться на фиксированном количестве эпох, и защищает от переобучения.

Похожие методы

Источники

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    Открыть ссылку DOI
    Скопировано.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    Открыть ссылку на публикацию
    Скопировано.