Глубокое обучение с подкреплением
- Автор метода
- Mnih, V. et al. (DQN)
- Год
- 2015
- Тип
- Sequential decision-making (agent–environment interaction)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Глубокое обучение с подкреплением (Deep Reinforcement Learning) сочетает нейронные сети с обучением с подкреплением, позволяя агенту обучаться посредством взаимодействия со средой.
Метод получил широкое распространение после работы Мниха и его коллег (2015) в журнале Nature по управлению Atari на человеческом уровне. Вместо обучения на фиксированном размеченном наборе данных агент совершает действия, наблюдает вознаграждения и постепенно формирует политику, которая максимизирует долгосрочную выгоду.
Интуиция метода
Представьте, что вы учитесь играть в игру без правил: вы пробуете ходы, видите, как меняется ваш счет, и постепенно понимаете, какие действия приносят выгоду позже. Глубокое обучение с подкреплением автоматизирует именно этот цикл проб и ошибок. Нейронная сеть оценивает, насколько хороши ситуации и действия, а агент сохраняет те выборы, которые со временем приносят больше вознаграждения — даже если выплата наступает спустя много шагов после принятия решения.
История
Глубокое обучение с подкреплением получило известность благодаря статье Мниха и его коллег 2015 года в Nature, в которой глубокая Q-сеть достигла человеческого уровня управления во многих играх Atari непосредственно по пикселям. За этим последовали достижения в области градиента политики, включая A3C и Proximal Policy Optimization (PPO) Шульмана и его коллег 2017 года, которая стала широко используемым и более стабильным стандартом. Вместе DQN, PPO и A3C составляют основу современного инструментария глубокого обучения с подкреплением, используемого в играх, робототехнике и за их пределами.
Когда применять
Используйте глубокое обучение с подкреплением для задач последовательного принятия решений и управления — игры, управление роботами, оптимизация рекомендаций, поддержка клинических решений — где агент может взаимодействовать с симулятором или живой средой и может быть определен сигнал вознаграждения. Метод обрабатывает непрерывные и категориальные переменные, не предполагает нормальности распределения, но требует разработанной функции вознаграждения и значительных данных взаимодействия (по крайней мере, примерно 1000 эпизодов). При значительно меньшем количестве взаимодействий политика не сойдется, и более безопасным выбором будет модель контролируемого обучения, такая как Random Forest или XGBoost.
Ограничения и замечания
- Требует симулятора или среды взаимодействия и тщательно разработанной функции вознаграждения.
- Требует большого объема данных: необходимо большое количество взаимодействий (около 1000+) и рекомендуется GPU.
- При менее чем примерно 1000 взаимодействиях политика не сходится; при менее чем ~500 она не может выработать надежную политику принятия решений.
- Обучение может быть нестабильным и чувствительным к гиперпараметрам и формированию вознаграждения.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Обучает политике управления и последовательного принятия решений непосредственно на основе взаимодействия, без размеченных примеров.
- Нейронная функциональная аппроксимация масштабируется до очень больших пространств состояний и действий.
- Гибкость в различных областях — игры, робототехника, рекомендации, поддержка клинических решений.
- Не предполагает нормальности распределения; работает с непрерывными и категориальными входными данными и многими структурами данных.
Применение
- Игры и управление агентами (например, Atari и настольные игры).
- Управление роботами и задачи непрерывного управления.
- Рекомендации и задачи последовательной оптимизации.
- Поддержка клинических решений, сформулированная как последовательное принятие решений.
Как это работает
Как это работает
Агент наблюдает текущее состояние среды (игра, симулятор, робот, система рекомендаций), выбирает действие и получает вознаграждение, а также следующее состояние. Требуется симулятор или среда живого взаимодействия, а функция вознаграждения должна быть разработана преднамеренно, поскольку она определяет, что означает «хорошее поведение». Каждое взаимодействие пополняет опыт, на котором учится агент.
Нейронная сеть аппроксимирует ценность состояний и действий — например, глубокая Q-сеть (deep Q-network) оценивает ожидаемую будущую выгоду от каждого действия, в то время как методы градиента политики, такие как PPO и A3C, напрямую параметризуют политику. Именно это делает метод «глубоким»: сеть обобщает огромные пространства состояний, которые таблица поиска никогда не смогла бы охватить.
Формула
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]Используя вознаграждения, собранные в ходе взаимодействия, сеть обновляется, чтобы отдавать предпочтение действиям, которые приводят к более высокой кумулятивной дисконтированной выгоде, неуклонно улучшая политику в направлении той, которая максимизирует долгосрочное вознаграждение. Поскольку обучение основано на опыте, для сходимости политики требуются большие объемы данных взаимодействия (реестр рекомендует не менее 1000 эпизодов/взаимодействий) и, в идеале, графический процессор (GPU).
Формула
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]Частые ошибки
- Применение глубокого обучения с подкреплением к небольшому набору данных, где политика не может сойтись, вместо использования модели контролируемого обучения.
- Разработка плохо специфицированной функции вознаграждения, которую агент использует непреднамеренными способами.
- Пропуск симулятора/среды взаимодействия и попытка обучения на статической таблице записей.
- Игнорирование диагностик сходимости и доверие недообученной политике с высокой дисперсией.
- Недооценка вычислительных потребностей и запуск без GPU на слишком малом количестве эпизодов.
Часто задаваемые вопросы
Сколько данных требуется для глубокого обучения с подкреплением?
Метод требует большого объема данных. Реестр рекомендует не менее 1000 взаимодействий/эпизодов для сходимости политики; при менее чем примерно 500 взаимодействиях DQN/PPO не может выработать надежную политику принятия решений, и предпочтительнее использовать модель контролируемого обучения.
В чем разница между DQN, PPO и A3C?
DQN изучает функцию ценности (ожидаемую выгоду от каждого действия) и действует жадно по отношению к ней. PPO и A3C — это методы градиента политики, которые напрямую оптимизируют политику; PPO, в частности, ценится за стабильность обучения.
Нужен ли мне симулятор?
Да. Глубокое обучение с подкреплением учится на взаимодействии, поэтому требуется симулятор или среда живого взаимодействия, а также преднамеренно разработанная функция вознаграждения, которая кодирует цель.
Нужен ли мне GPU?
Рекомендуется использовать GPU. Глубокое обучение с подкреплением обучает нейронные сети на очень большом количестве взаимодействий, поэтому без подходящих вычислительных ресурсов обучение идет медленно, и сходимости трудно достичь.
Похожие методы
Источники
Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.
Открыть ссылку DOIСкопировано.Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
Открыть ссылку на публикациюСкопировано.