Обучение с подкреплением
- Автор метода
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- Год
- 1950s–1998
- Тип
- Sequential decision-making framework
- Семейство
- Deep learning / NLP / CV
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Обучение с подкреплением (ОсП) — это фреймворк, в котором агент учится принимать последовательные решения, взаимодействуя со средой, получая скалярные сигналы вознаграждения и обновляя политику для максимизации суммарного будущего вознаграждения.
В отличие от обучения с учителем, здесь не предоставляются размеченные примеры; агент самостоятельно открывает оптимальное поведение исключительно через опыт и отложенную обратную связь.
Интуиция метода
Представьте, что вы дрессируете собаку: вы не объясняете каждое действие; вы вознаграждаете хорошее поведение и позволяете ей самой разобраться, что делать. Обучение с подкреплением работает так же. Агент пробует действия в среде, наблюдает за последствиями и получает вознаграждение — положительное за желаемые результаты, отрицательное за ошибки. За множество взаимодействий он учится, какие действия в каких ситуациях приводят к наибольшему вознаграждению, вырабатывая стратегию — называемую политикой — без необходимости в предварительно размеченном наборе данных с правильными ответами.
История
Обучение с подкреплением имеет корни в динамическом программировании Беллмана (1957) и психологии обучения животных. Саттон и Барто формализовали современный фреймворк в своем учебнике 1998 года, объединив обучение с временными различиями, Q-обучение и методы градиента политики. Область претерпела трансформацию в 2013–2015 годах, когда DQN от DeepMind объединил глубокие сверточные сети с Q-обучением для достижения уровня игры в Atari, сравнимого с человеческим, что положило начало глубокому обучению с подкреплением как основному направлению исследований. AlphaGo (2016) и последующие работы по RLHF над большими языковыми моделями еще больше расширили охват ОсП.
Когда применять
Используйте обучение с подкреплением, когда задача заключается в последовательном принятии решений с отложенными вознаграждениями и без размеченных обучающих данных: игры, управление роботами, планирование ресурсов, последовательность рекомендаций или доводка языковых моделей с обратной связью от человека (RLHF). ОсП подходит, когда среду можно дешево симулировать, а агент может взаимодействовать многократно. НЕ используйте ОсП, когда задачу можно решить с помощью обучения с учителем или самообучения — ОсП неэффективно по выборке и нестабильно; когда функцию вознаграждения трудно определить; когда взаимодействие с реальной средой дорого или опасно без симулятора; или когда набор данных статичен и фиксирован (используйте офлайн-ОсП с осторожностью).
Ограничения и замечания
- Чрезвычайно неэффективно по выборке: может потребоваться миллионы взаимодействий со средой для сходимости.
- Обучение часто нестабильно и чувствительно к гиперпараметрам, формированию вознаграждения и случайным начальным значениям.
- Разработка функции вознаграждения затруднительна; неправильно заданные вознаграждения вызывают непреднамеренную оптимизацию (взлом вознаграждения).
- Обобщение на невиданные состояния или среды не гарантируется.
- Развертывание в реальном мире рискованно без обширного моделирования; исследование может привести к опасным действиям.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Обучается непосредственно на основе взаимодействия без размеченных данных, что делает его применимым там, где аннотация невозможна.
- Способно открывать сверхчеловеческие стратегии в сложных последовательных задачах (игры, робототехника, планирование).
- Естественно моделирует долгосрочное планирование и временное распределение кредита.
- Масштабируется до высокоразмерных пространств состояний (пиксели, текст) при сочетании с глубокими нейронными сетями.
- RLHF позволяет согласовывать большие языковые модели с предпочтениями человека.
Применение
- Игры и стратегии: Atari, Go, шахматы, StarCraft на сверхчеловеческом уровне.
- Робототехника: локомоция, манипуляция и управление ловкими руками.
- Согласование больших языковых моделей с помощью обучения с подкреплением на основе обратной связи от человека (RLHF).
- Планирование ресурсов и сетей, оптимизация охлаждения центров обработки данных.
- Персонализированные рекомендательные системы, моделирующие долгосрочное вовлечение пользователей.
- Моделирование автономного вождения и управление светофорами.
Как это работает
Как это работает
На каждом временном шаге агент наблюдает текущее состояние среды и выбирает действие в соответствии со своей текущей политикой. Среда переходит в новое состояние и выдает скалярное вознаграждение. Этот цикл «наблюдение-действие-вознаграждение» повторяется, генерируя траекторию опыта, которая используется для улучшения политики.
Цель агента — максимизировать дисконтированное суммарное вознаграждение G_t, которое суммирует все будущие вознаграждения, взвешенные коэффициентом дисконтирования gamma в диапазоне от 0 до 1. gamma, близкое к 1, делает агента дальновидным; малое gamma заставляет его фокусироваться на немедленных вознаграждениях. Тщательное формирование вознаграждения имеет решающее значение, поскольку агент оптимизирует любой получаемый им сигнал.
Формула
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}Политика pi отображает состояния в действия (или вероятности действий). Она может быть представлена в виде таблицы поиска для небольших дискретных задач или в виде глубокой нейронной сети — агента глубокого ОсП — для высокоразмерных состояний, таких как изображения или текст. Политика — это то, чему учится агент, и, в конечном итоге, то, что развертывается.
Формула
\pi(a \mid s) = P(A_t = a \mid S_t = s)
Функции ценности оценивают, насколько хорошим является состояние (или пара состояние-действие) при данной политике. Функцией ценности состояния V(s) является ожидаемое суммарное вознаграждение, начиная с состояния s. Функции ценности действия Q(s, a) расширяют это на конкретные действия. Эти оценки направляют улучшение политики в таких методах, как Q-обучение, SARSA и алгоритмы actor-critic.
Формула
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]Агент обновляет свою политику, используя собранный опыт. Методы, основанные на ценности (например, DQN), выводят политику неявно из Q-значений; методы градиента политики (например, REINFORCE, PPO) напрямую корректируют параметры политики для увеличения вероятности траекторий с высоким вознаграждением. Большинство современных алгоритмов объединяют оба подхода в архитектурах actor-critic.
Частые ошибки
- Формулирование функции вознаграждения, которую легко оптимизировать, но которая не соответствует истинной цели (взлом вознаграждения).
- Пропуск хорошо настроенной симуляционной среды и переход непосредственно к реальному оборудованию, что приводит к дорогостоящим сбоям.
- Выбор ОсП, когда подход обучения с учителем или имитационного обучения был бы гораздо более эффективным по выборке.
- Игнорирование воспроизводимости: результаты ОсП сильно варьируются в зависимости от случайных начальных значений; всегда сообщайте о нескольких запусках.
- Рассмотрение кривой обучения одного запуска как свидетельства сходимости без эпизодов оценки на отложенной выборке.
Часто задаваемые вопросы
Чем обучение с подкреплением отличается от обучения с учителем?
Обучение с учителем требует размеченных пар вход-выход и изучает фиксированное отображение. ОсП не требует меток; вместо этого агент получает сигналы вознаграждения после действий и должен самостоятельно выяснить, что делать методом проб и ошибок, что делает его подходящим для задач последовательного принятия решений, где правильное действие заранее неизвестно.
Какова разница между model-free и model-based RL?
Model-free ОсП (например, DQN, PPO) изучает политики или функции ценности непосредственно из опыта без явной модели динамики среды. Model-based ОсП изучает или получает модель переходов и использует ее для планирования. Методы model-based, как правило, более эффективны по выборке, но требуют точной модели, которую может быть трудно изучить.
Как выбрать между методом, основанным на ценности, и методом градиента политики?
Методы, основанные на ценности, такие как DQN, хорошо работают с дискретными пространствами действий и относительно стабильны. Методы градиента политики (REINFORCE, PPO, SAC) естественно обрабатывают непрерывные пространства действий и могут изучать стохастические политики. Методы Actor-critic объединяют оба подхода. Для большинства современных приложений PPO или SAC являются надежными отправными точками.
Сколько взаимодействий со средой обычно требуется ОсП?
ОсП печально известна своей «прожорливостью» к данным. Простые табличные задачи могут сойтись за тысячи шагов; Atari DQN потребовал десятки миллионов кадров; сложные задачи робототехники могут потребовать сотен миллионов шагов симуляции. Это делает быстрый симулятор необходимым и исключает ОсП для многих реальных проблем с дорогостоящими взаимодействиями.
Что такое RLHF и почему это важно?
Обучение с подкреплением на основе обратной связи от человека (RLHF) обучает модель вознаграждения на основе сравнений предпочтений человека, а затем донастраивает языковую модель с помощью ОсП для максимизации этого полученного вознаграждения. Это доминирующая техника для согласования больших языковых моделей с человеческими ценностями, и она является центральной для таких моделей, как InstructGPT и Claude.
Похожие методы
Источники
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Скопировано.Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
Открыть ссылку DOIСкопировано.