Вариационный автокодировщик
- Автор метода
- Kingma, D. P. & Welling, M.
- Год
- 2014
- Тип
- Deep generative latent-variable model (encoder–decoder)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Вариационный автокодировщик (VAE) — это глубокая генеративная модель со скрытыми переменными, представленная Дидериком Кингмой и Максом Веллингом в 2014 году, которая кодирует данные как распределение вероятностей в скрытом пространстве и производит выборку из этого распределения для генерации новых примеров.
Он используется для генерации данных, обнаружения аномалий и изучения признаков.
Интуиция метода
Обычный автокодировщик сжимает каждый вход в одну точку в сжатом пространстве, что хорошо для реконструкции, но не оставляет принципиального способа создания новых данных. VAE вместо этого отображает каждый вход в небольшое вероятностное облако — среднее значение и разброс — и заставляет эти облака оставаться близкими к простому эталонному распределению. Поскольку скрытое пространство при этом является гладким и непрерывным, из него можно извлечь новую точку, и декодер превратит ее в совершенно новый, правдоподобный пример.
История
Вариационный автокодировщик был представлен Дидериком Кингмой и Максом Веллингом в 2014 году в работе «Auto-Encoding Variational Bayes», которая объединила вариационный вывод с нейросетевыми кодировщиками и декодерами и представила трюк репараметризации, сделавший модель обучаемой сквозным образом. В 2017 году Хиггинс и коллеги предложили beta-VAE, который перевзвешивает член Кульбака-Лейблера с коэффициентом для поощрения более распутанных скрытых факторов. VAE стал одной из фундаментальных глубоких генеративных моделей, наряду с GAN и, в последнее время, диффузионными моделями.
Когда применять
Хорошо подходит, когда у вас есть по крайней мере около 200 наблюдений с непрерывными значениями и вы хотите изучить гладкое скрытое представление для генерации новых данных, обнаружения аномалий или сжатия высокоразмерных входов, и для обучения доступен графический процессор. Модель предполагает непрерывную скрытую переменную и обучается путем совместной оптимизации потерь реконструкции и дивергенции Кульбака-Лейблера. При количестве выборок менее 200 скрытое распределение не может быть осмысленно изучено, и предпочтительнее использовать более простой метод, такой как PCA; при количестве менее 50 он полностью выходит из строя.
Ограничения и замечания
- Требуется достаточно большая выборка (около 200+) и, как правило, графический процессор для эффективного обучения.
- Выборки могут выглядеть размытыми по сравнению с генераторами на основе состязательных сетей или диффузионных моделей.
- На малых наборах данных скрытое распределение не изучается осмысленно, поэтому PCA является более безопасным выбором.
- Балансировка членов реконструкции и Кульбака-Лейблера является деликатной; член Кульбака-Лейблера может коллапсировать и игнорироваться.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Изучает гладкое, непрерывное скрытое пространство, из которого можно производить выборку для генерации действительно новых примеров.
- Предоставляет принципиальную вероятностную основу, оптимизируя одну цель (нижнюю границу свидетельства).
- Полезен не только для генерации — для обнаружения аномалий, изучения признаков и нелинейного снижения размерности.
- Не требует нормально распределенных входов и работает с непрерывными данными высокой размерности.
- Трюк репараметризации делает всю модель обучаемой сквозным образом с помощью градиентного спуска.
Применение
- Генерация новых синтетических выборок данных из изученного скрытого пространства.
- Обнаружение аномалий и выбросов путем пометки входов, которые модель плохо реконструирует.
- Нелинейное снижение размерности и изучение признаков на высокоразмерных данных.
- Изучение представлений в качестве предварительного шага для последующего прогнозирования или кластеризации.
Как это работает
Как это работает
Сеть кодировщика считывает каждый вход и выдает параметры распределения скрытой переменной — среднее значение и дисперсию — вместо одного фиксированного кода. Это шаг вероятностного кодирования, который представляет каждое наблюдение как область скрытого пространства, а не как одну точку.
Формула
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))Скрытый вектор извлекается из закодированного распределения с использованием трюка репараметризации: вместо прямой выборки модель записывает выборку как среднее значение плюс стандартное отклонение, умноженное на стандартный гауссовский шум. Поскольку случайность переносится во внешний шумовой член, градиенты могут проходить через сеть, и модель может быть обучена сквозным образом.
Формула
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)Сеть декодера отображает выбранный скрытый вектор обратно в пространство данных, а обучение оптимизирует нижнюю границу свидетельства: член реконструкции, который вознаграждает за точное восстановление входа, минус член Кульбака-Лейблера, который притягивает каждое закодированное распределение к априорному. Баланс этих двух сил приводит к созданию скрытого пространства, которое как хорошо реконструирует, так и поддерживает генерацию новых выборок.
Формула
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))Частые ошибки
- Обучение на слишком малом количестве наблюдений (менее 200) и ожидание осмысленной генеративной модели.
- Игнорирование коллапса апостериорного распределения, когда член Кульбака-Лейблера делает скрытый код неинформативным.
- Оценка модели только по четкости реконструкции вместо качества сгенерированных выборок.
- Пропуск трюка репараметризации и нарушение потока градиентов через шаг выборки.
- Использование VAE, когда достаточно простого линейного снижения размерности, такого как PCA.
Часто задаваемые вопросы
Чем VAE отличается от обычного автокодировщика?
Обычный автокодировщик отображает каждый вход в один скрытый код, оптимизированный только для реконструкции. VAE кодирует каждый вход как распределение вероятностей и добавляет член Кульбака-Лейблера, который поддерживает это распределение близким к априорному, что дает гладкое скрытое пространство, из которого можно производить выборку для генерации новых данных.
Что такое трюк репараметризации?
Он переписывает скрытую выборку как закодированное среднее значение плюс стандартное отклонение, умноженное на стандартный гауссовский шум. Перенося случайность во внешний шумовой член, градиенты могут проходить через шаг выборки, так что кодировщик и декодер могут быть обучены вместе с помощью обратного распространения ошибки.
Сколько данных и какое оборудование мне нужно?
Рекомендуется не менее 200 непрерывных наблюдений, и для обучения рекомендуется использовать графический процессор. При количестве менее 200 скрытое распределение не изучается осмысленно, и предпочтительнее использовать PCA; при количестве менее 50 VAE полностью выходит из строя.
Что такое beta-VAE?
beta-VAE, предложенный Хиггинсом и коллегами в 2017 году, умножает член Кульбака-Лейблера на коэффициент (бета). Большее значение бета заставляет скрытые размерности захватывать более независимые, распутанные факторы вариации, ценой некоторого снижения точности реконструкции.
Похожие методы
Источники
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).
Открыть ссылку на публикациюСкопировано.Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).
Открыть ссылку на публикациюСкопировано.