Skip to content
Назад к результатам поиска

Методы градиента политики

Автор метода
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
Год
1992
Тип
Policy-based reinforcement learning
Семейство
Reinforcement learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Методы градиента политики — это алгоритмы обучения с подкреплением, которые оптимизируют параметризованную политику напрямую посредством градиентного подъема по ожидаемой награде, вместо того чтобы изучать ценность действий и действовать жадно.

Основанные на алгоритме REINFORCE Рональда Уильямса 1992 года и теореме о градиенте политики Саттона и его коллег (2000), они естественным образом обрабатывают стохастические и непрерывные пространства действий и лежат в основе современных алгоритмов actor-critic и deep-RL.

Интуиция метода

Методы, основанные на ценности, такие как Q-обучение, определяют, насколько хороши все действия, а затем выбирают наилучшее; методы градиента политики пропускают промежуточное звено и корректируют саму политику. Политика представляет собой вероятностное распределение по действиям с настраиваемыми параметрами. После выполнения действия и получения награды вы корректируете параметры так, чтобы действия, приведшие к высокой награде, стали более вероятными, а плохие — менее вероятными — это градиентный подъем по ожидаемой награде. Поскольку политика может быть любым дифференцируемым распределением, этот метод работает для непрерывных управляющих воздействий (например, угла поворота руля), где взятие максимума по действиям непрактично. Вычитание базовой линии (оценки ценности) стабилизирует зашумленный градиент.

История

Рональд Уильямс представил REINFORCE, основополагающий метод градиента политики Монте-Карло, в 1992 году. Саттон, МакАлистер, Сингх и Мансур (2000) доказали теорему о градиенте политики с аппроксимацией функций, что позволило использовать политики на основе нейронных сетей и семейство actor-critic. Этот подход стимулировал десятилетие достижений в области deep-RL — A3C, TRPO, PPO, DDPG/SAC — и является центральным для обучения с подкреплением на основе обратной связи от человека (RLHF), используемого для согласования больших языковых моделей. Это полиси-ориентированный аналог методов, основанных на ценности, таких как Q-обучение.

Когда применять

Используйте методы градиента политики, когда пространство действий непрерывно или имеет высокую размерность, когда желательна стохастическая политика (исследование, частичная наблюдаемость, многоагентные системы) или когда вы хотите оптимизировать политику сквозным образом с помощью нейронной сети — управление робототехникой, эталонные задачи непрерывного управления, политики диалогов/рекомендаций и как основу RLHF для языковых моделей. Они напрямую оптимизируют целевую функцию и обрабатывают непрерывные действия, с которыми методы, основанные на ценности, испытывают трудности. Затраты: оценки градиента имеют высокую дисперсию (смягчается базовыми линиями/критиками), они обычно являются on-policy и неэффективны по выборкам, чувствительны к размеру шага и масштабированию награды, а также склонны к локальным оптимумам. Когда пространство действий мало и дискретно, методы, основанные на ценности, такие как Q-обучение/DQN, могут быть проще и эффективнее по выборкам; варианты с доверительным регионом (TRPO/PPO) решают проблему нестабильности размера шага.

Ограничения и замечания

  • Оценки градиента с высокой дисперсией; для практического применения требуются базовые линии или критики.
  • Обычно on-policy и неэффективны по выборкам по сравнению с off-policy методами, основанными на ценности.
  • Чувствительность к скорости обучения, масштабированию награды и возможность сходимости к локальным оптимумам.
  • Стабильность требует осторожности; наивные большие шаги могут привести к коллапсу политики.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Прямая оптимизация политики; обработка непрерывных и высокоразмерных пространств действий.
  • Естественное представление стохастических политик, способствующее исследованию и частичной наблюдаемости.
  • Бесшовная интеграция с аппроксимацией функций нейронных сетей (deep RL).
  • Основа для современных алгоритмов (A2C/A3C, TRPO, PPO, DDPG) и RLHF.

Применение

  • Непрерывное управление в робототехнике и симулированных средах.
  • Игровой процесс и сложное последовательное принятие решений.
  • Политики диалогов, рекомендаций и адаптивного взаимодействия.
  • Обучение с подкреплением на основе обратной связи от человека (RLHF) для языковых моделей.
  • Операционные задачи и задачи управления с непрерывными действиями.

Как это работает

Как это работает

1

Цель состоит в максимизации J(θ) — ожидаемой дисконтированной награды траекторий, генерируемых политикой π_θ. В отличие от методов, основанных на ценности, оптимизируемым объектом являются непосредственно параметры политики, и политика может быть стохастической и непрерывной.

Формула
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

Теорема о градиенте политики выражает градиент ожидаемой награды как математическое ожидание функции правдоподобия (градиента логарифма политики), взвешенной по ценности действия. Важно, что градиент не требует дифференцирования динамики среды, поэтому его можно оценить по выборке опыта.

Формула
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE — это Монте-Карло оценка: после эпизода для каждого шага параметры сдвигаются вдоль градиента логарифма политики, масштабированного по награде от этого шага минус базовая линия. Базовая линия (часто оценка ценности состояния) уменьшает дисперсию без внесения смещения, делая зашумленный градиент пригодным для использования.

Формула
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

Методы actor-critic изучают две составляющие вместе: актер (политика), обновляемый с помощью градиента политики, и критик (функция ценности), который предоставляет оценку преимущества с низкой дисперсией (насколько действие лучше среднего). Оценки критика, полученные методом бутстрэпа, заменяют Монте-Карло награды с высокой дисперсией, обеспечивая более стабильное и эффективное обучение на основе выборок и являясь основой для A2C/A3C, PPO и DDPG.

Формула
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

Частые ошибки

  • Пропуск базовой линии/критика, что делает градиенты слишком зашумленными для обучения.
  • Повторное использование off-policy данных с простым on-policy оценщиком, что приводит к смещению градиента.
  • Большие или не масштабированные награды/размеры шагов, вызывающие нестабильность или коллапс политики.
  • Недостаточное исследование, когда политика преждевременно становится почти детерминированной.

Часто задаваемые вопросы

Чем методы градиента политики отличаются от Q-обучения?

Q-обучение изучает ценность действий и действует жадно; методы градиента политики параметризуют и оптимизируют политику напрямую посредством градиентного подъема по ожидаемой награде. Методы градиента политики естественным образом обрабатывают непрерывные/стохастические действия, но имеют более высокую дисперсию и обычно являются on-policy, в то время как Q-обучение является off-policy и часто более эффективно по выборкам для малых дискретных действий.

Что такое метод actor-critic?

Он объединяет политику (актер), обновляемую с помощью градиента политики, с изученной функцией ценности (критик), которая оценивает, насколько хороши состояния/действия. Критик предоставляет сигнал преимущества с низкой дисперсией, стабилизируя и ускоряя обучение. A2C/A3C, PPO и DDPG — это алгоритмы actor-critic.

Почему методы градиента политики используют базовую линию?

Сырая оценка градиента очень зашумлена. Вычитание базовой линии — обычно оценки ценности состояния — из награды уменьшает дисперсию градиента без внесения смещения, что делает обучение гораздо более стабильным и эффективным. Функция преимущества (награда минус ценность) является обычным выбором.

Похожие методы

Источники

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    Открыть ссылку DOI
    Скопировано.
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    Открыть ссылку на публикацию
    Скопировано.