Skip to content
Назад к результатам поиска

Глубокое обучение с подкреплением

Автор метода
Mnih, V. et al. (DQN)
Год
2015
Тип
Sequential decision-making (agent–environment interaction)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Глубокое обучение с подкреплением (Deep Reinforcement Learning) сочетает нейронные сети с обучением с подкреплением, позволяя агенту обучаться посредством взаимодействия со средой.

Метод получил широкое распространение после работы Мниха и его коллег (2015) в журнале Nature по управлению Atari на человеческом уровне. Вместо обучения на фиксированном размеченном наборе данных агент совершает действия, наблюдает вознаграждения и постепенно формирует политику, которая максимизирует долгосрочную выгоду.

Интуиция метода

Представьте, что вы учитесь играть в игру без правил: вы пробуете ходы, видите, как меняется ваш счет, и постепенно понимаете, какие действия приносят выгоду позже. Глубокое обучение с подкреплением автоматизирует именно этот цикл проб и ошибок. Нейронная сеть оценивает, насколько хороши ситуации и действия, а агент сохраняет те выборы, которые со временем приносят больше вознаграждения — даже если выплата наступает спустя много шагов после принятия решения.

История

Глубокое обучение с подкреплением получило известность благодаря статье Мниха и его коллег 2015 года в Nature, в которой глубокая Q-сеть достигла человеческого уровня управления во многих играх Atari непосредственно по пикселям. За этим последовали достижения в области градиента политики, включая A3C и Proximal Policy Optimization (PPO) Шульмана и его коллег 2017 года, которая стала широко используемым и более стабильным стандартом. Вместе DQN, PPO и A3C составляют основу современного инструментария глубокого обучения с подкреплением, используемого в играх, робототехнике и за их пределами.

Когда применять

Используйте глубокое обучение с подкреплением для задач последовательного принятия решений и управления — игры, управление роботами, оптимизация рекомендаций, поддержка клинических решений — где агент может взаимодействовать с симулятором или живой средой и может быть определен сигнал вознаграждения. Метод обрабатывает непрерывные и категориальные переменные, не предполагает нормальности распределения, но требует разработанной функции вознаграждения и значительных данных взаимодействия (по крайней мере, примерно 1000 эпизодов). При значительно меньшем количестве взаимодействий политика не сойдется, и более безопасным выбором будет модель контролируемого обучения, такая как Random Forest или XGBoost.

Ограничения и замечания

  • Требует симулятора или среды взаимодействия и тщательно разработанной функции вознаграждения.
  • Требует большого объема данных: необходимо большое количество взаимодействий (около 1000+) и рекомендуется GPU.
  • При менее чем примерно 1000 взаимодействиях политика не сходится; при менее чем ~500 она не может выработать надежную политику принятия решений.
  • Обучение может быть нестабильным и чувствительным к гиперпараметрам и формированию вознаграждения.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обучает политике управления и последовательного принятия решений непосредственно на основе взаимодействия, без размеченных примеров.
  • Нейронная функциональная аппроксимация масштабируется до очень больших пространств состояний и действий.
  • Гибкость в различных областях — игры, робототехника, рекомендации, поддержка клинических решений.
  • Не предполагает нормальности распределения; работает с непрерывными и категориальными входными данными и многими структурами данных.

Применение

  • Игры и управление агентами (например, Atari и настольные игры).
  • Управление роботами и задачи непрерывного управления.
  • Рекомендации и задачи последовательной оптимизации.
  • Поддержка клинических решений, сформулированная как последовательное принятие решений.

Как это работает

Как это работает

1

Агент наблюдает текущее состояние среды (игра, симулятор, робот, система рекомендаций), выбирает действие и получает вознаграждение, а также следующее состояние. Требуется симулятор или среда живого взаимодействия, а функция вознаграждения должна быть разработана преднамеренно, поскольку она определяет, что означает «хорошее поведение». Каждое взаимодействие пополняет опыт, на котором учится агент.

2

Нейронная сеть аппроксимирует ценность состояний и действий — например, глубокая Q-сеть (deep Q-network) оценивает ожидаемую будущую выгоду от каждого действия, в то время как методы градиента политики, такие как PPO и A3C, напрямую параметризуют политику. Именно это делает метод «глубоким»: сеть обобщает огромные пространства состояний, которые таблица поиска никогда не смогла бы охватить.

Формула
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]
3

Используя вознаграждения, собранные в ходе взаимодействия, сеть обновляется, чтобы отдавать предпочтение действиям, которые приводят к более высокой кумулятивной дисконтированной выгоде, неуклонно улучшая политику в направлении той, которая максимизирует долгосрочное вознаграждение. Поскольку обучение основано на опыте, для сходимости политики требуются большие объемы данных взаимодействия (реестр рекомендует не менее 1000 эпизодов/взаимодействий) и, в идеале, графический процессор (GPU).

Формула
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]

Частые ошибки

  • Применение глубокого обучения с подкреплением к небольшому набору данных, где политика не может сойтись, вместо использования модели контролируемого обучения.
  • Разработка плохо специфицированной функции вознаграждения, которую агент использует непреднамеренными способами.
  • Пропуск симулятора/среды взаимодействия и попытка обучения на статической таблице записей.
  • Игнорирование диагностик сходимости и доверие недообученной политике с высокой дисперсией.
  • Недооценка вычислительных потребностей и запуск без GPU на слишком малом количестве эпизодов.

Часто задаваемые вопросы

Сколько данных требуется для глубокого обучения с подкреплением?

Метод требует большого объема данных. Реестр рекомендует не менее 1000 взаимодействий/эпизодов для сходимости политики; при менее чем примерно 500 взаимодействиях DQN/PPO не может выработать надежную политику принятия решений, и предпочтительнее использовать модель контролируемого обучения.

В чем разница между DQN, PPO и A3C?

DQN изучает функцию ценности (ожидаемую выгоду от каждого действия) и действует жадно по отношению к ней. PPO и A3C — это методы градиента политики, которые напрямую оптимизируют политику; PPO, в частности, ценится за стабильность обучения.

Нужен ли мне симулятор?

Да. Глубокое обучение с подкреплением учится на взаимодействии, поэтому требуется симулятор или среда живого взаимодействия, а также преднамеренно разработанная функция вознаграждения, которая кодирует цель.

Нужен ли мне GPU?

Рекомендуется использовать GPU. Глубокое обучение с подкреплением обучает нейронные сети на очень большом количестве взаимодействий, поэтому без подходящих вычислительных ресурсов обучение идет медленно, и сходимости трудно достичь.

Похожие методы

Источники

  1. Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.

    Открыть ссылку DOI
    Скопировано.
  2. Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

    Открыть ссылку на публикацию
    Скопировано.