Skip to content
Назад к результатам поиска

Обучение с подкреплением

Автор метода
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
Год
1950s–1998
Тип
Sequential decision-making framework
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Обучение с подкреплением (ОсП) — это фреймворк, в котором агент учится принимать последовательные решения, взаимодействуя со средой, получая скалярные сигналы вознаграждения и обновляя политику для максимизации суммарного будущего вознаграждения.

В отличие от обучения с учителем, здесь не предоставляются размеченные примеры; агент самостоятельно открывает оптимальное поведение исключительно через опыт и отложенную обратную связь.

Интуиция метода

Представьте, что вы дрессируете собаку: вы не объясняете каждое действие; вы вознаграждаете хорошее поведение и позволяете ей самой разобраться, что делать. Обучение с подкреплением работает так же. Агент пробует действия в среде, наблюдает за последствиями и получает вознаграждение — положительное за желаемые результаты, отрицательное за ошибки. За множество взаимодействий он учится, какие действия в каких ситуациях приводят к наибольшему вознаграждению, вырабатывая стратегию — называемую политикой — без необходимости в предварительно размеченном наборе данных с правильными ответами.

История

Обучение с подкреплением имеет корни в динамическом программировании Беллмана (1957) и психологии обучения животных. Саттон и Барто формализовали современный фреймворк в своем учебнике 1998 года, объединив обучение с временными различиями, Q-обучение и методы градиента политики. Область претерпела трансформацию в 2013–2015 годах, когда DQN от DeepMind объединил глубокие сверточные сети с Q-обучением для достижения уровня игры в Atari, сравнимого с человеческим, что положило начало глубокому обучению с подкреплением как основному направлению исследований. AlphaGo (2016) и последующие работы по RLHF над большими языковыми моделями еще больше расширили охват ОсП.

Когда применять

Используйте обучение с подкреплением, когда задача заключается в последовательном принятии решений с отложенными вознаграждениями и без размеченных обучающих данных: игры, управление роботами, планирование ресурсов, последовательность рекомендаций или доводка языковых моделей с обратной связью от человека (RLHF). ОсП подходит, когда среду можно дешево симулировать, а агент может взаимодействовать многократно. НЕ используйте ОсП, когда задачу можно решить с помощью обучения с учителем или самообучения — ОсП неэффективно по выборке и нестабильно; когда функцию вознаграждения трудно определить; когда взаимодействие с реальной средой дорого или опасно без симулятора; или когда набор данных статичен и фиксирован (используйте офлайн-ОсП с осторожностью).

Ограничения и замечания

  • Чрезвычайно неэффективно по выборке: может потребоваться миллионы взаимодействий со средой для сходимости.
  • Обучение часто нестабильно и чувствительно к гиперпараметрам, формированию вознаграждения и случайным начальным значениям.
  • Разработка функции вознаграждения затруднительна; неправильно заданные вознаграждения вызывают непреднамеренную оптимизацию (взлом вознаграждения).
  • Обобщение на невиданные состояния или среды не гарантируется.
  • Развертывание в реальном мире рискованно без обширного моделирования; исследование может привести к опасным действиям.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обучается непосредственно на основе взаимодействия без размеченных данных, что делает его применимым там, где аннотация невозможна.
  • Способно открывать сверхчеловеческие стратегии в сложных последовательных задачах (игры, робототехника, планирование).
  • Естественно моделирует долгосрочное планирование и временное распределение кредита.
  • Масштабируется до высокоразмерных пространств состояний (пиксели, текст) при сочетании с глубокими нейронными сетями.
  • RLHF позволяет согласовывать большие языковые модели с предпочтениями человека.

Применение

  • Игры и стратегии: Atari, Go, шахматы, StarCraft на сверхчеловеческом уровне.
  • Робототехника: локомоция, манипуляция и управление ловкими руками.
  • Согласование больших языковых моделей с помощью обучения с подкреплением на основе обратной связи от человека (RLHF).
  • Планирование ресурсов и сетей, оптимизация охлаждения центров обработки данных.
  • Персонализированные рекомендательные системы, моделирующие долгосрочное вовлечение пользователей.
  • Моделирование автономного вождения и управление светофорами.

Как это работает

Как это работает

1

На каждом временном шаге агент наблюдает текущее состояние среды и выбирает действие в соответствии со своей текущей политикой. Среда переходит в новое состояние и выдает скалярное вознаграждение. Этот цикл «наблюдение-действие-вознаграждение» повторяется, генерируя траекторию опыта, которая используется для улучшения политики.

2

Цель агента — максимизировать дисконтированное суммарное вознаграждение G_t, которое суммирует все будущие вознаграждения, взвешенные коэффициентом дисконтирования gamma в диапазоне от 0 до 1. gamma, близкое к 1, делает агента дальновидным; малое gamma заставляет его фокусироваться на немедленных вознаграждениях. Тщательное формирование вознаграждения имеет решающее значение, поскольку агент оптимизирует любой получаемый им сигнал.

Формула
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

Политика pi отображает состояния в действия (или вероятности действий). Она может быть представлена в виде таблицы поиска для небольших дискретных задач или в виде глубокой нейронной сети — агента глубокого ОсП — для высокоразмерных состояний, таких как изображения или текст. Политика — это то, чему учится агент, и, в конечном итоге, то, что развертывается.

Формула
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

Функции ценности оценивают, насколько хорошим является состояние (или пара состояние-действие) при данной политике. Функцией ценности состояния V(s) является ожидаемое суммарное вознаграждение, начиная с состояния s. Функции ценности действия Q(s, a) расширяют это на конкретные действия. Эти оценки направляют улучшение политики в таких методах, как Q-обучение, SARSA и алгоритмы actor-critic.

Формула
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

Агент обновляет свою политику, используя собранный опыт. Методы, основанные на ценности (например, DQN), выводят политику неявно из Q-значений; методы градиента политики (например, REINFORCE, PPO) напрямую корректируют параметры политики для увеличения вероятности траекторий с высоким вознаграждением. Большинство современных алгоритмов объединяют оба подхода в архитектурах actor-critic.

Частые ошибки

  • Формулирование функции вознаграждения, которую легко оптимизировать, но которая не соответствует истинной цели (взлом вознаграждения).
  • Пропуск хорошо настроенной симуляционной среды и переход непосредственно к реальному оборудованию, что приводит к дорогостоящим сбоям.
  • Выбор ОсП, когда подход обучения с учителем или имитационного обучения был бы гораздо более эффективным по выборке.
  • Игнорирование воспроизводимости: результаты ОсП сильно варьируются в зависимости от случайных начальных значений; всегда сообщайте о нескольких запусках.
  • Рассмотрение кривой обучения одного запуска как свидетельства сходимости без эпизодов оценки на отложенной выборке.

Часто задаваемые вопросы

Чем обучение с подкреплением отличается от обучения с учителем?

Обучение с учителем требует размеченных пар вход-выход и изучает фиксированное отображение. ОсП не требует меток; вместо этого агент получает сигналы вознаграждения после действий и должен самостоятельно выяснить, что делать методом проб и ошибок, что делает его подходящим для задач последовательного принятия решений, где правильное действие заранее неизвестно.

Какова разница между model-free и model-based RL?

Model-free ОсП (например, DQN, PPO) изучает политики или функции ценности непосредственно из опыта без явной модели динамики среды. Model-based ОсП изучает или получает модель переходов и использует ее для планирования. Методы model-based, как правило, более эффективны по выборке, но требуют точной модели, которую может быть трудно изучить.

Как выбрать между методом, основанным на ценности, и методом градиента политики?

Методы, основанные на ценности, такие как DQN, хорошо работают с дискретными пространствами действий и относительно стабильны. Методы градиента политики (REINFORCE, PPO, SAC) естественно обрабатывают непрерывные пространства действий и могут изучать стохастические политики. Методы Actor-critic объединяют оба подхода. Для большинства современных приложений PPO или SAC являются надежными отправными точками.

Сколько взаимодействий со средой обычно требуется ОсП?

ОсП печально известна своей «прожорливостью» к данным. Простые табличные задачи могут сойтись за тысячи шагов; Atari DQN потребовал десятки миллионов кадров; сложные задачи робототехники могут потребовать сотен миллионов шагов симуляции. Это делает быстрый симулятор необходимым и исключает ОсП для многих реальных проблем с дорогостоящими взаимодействиями.

Что такое RLHF и почему это важно?

Обучение с подкреплением на основе обратной связи от человека (RLHF) обучает модель вознаграждения на основе сравнений предпочтений человека, а затем донастраивает языковую модель с помощью ОсП для максимизации этого полученного вознаграждения. Это доминирующая техника для согласования больших языковых моделей с человеческими ценностями, и она является центральной для таких моделей, как InstructGPT и Claude.

Похожие методы

Источники

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Скопировано.
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    Открыть ссылку DOI
    Скопировано.