Skip to content
Назад к результатам поиска

Генеративно-состязательная сеть

Автор метода
Goodfellow, I. et al.
Год
2014
Тип
Generative deep learning (adversarial two-network game)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Генеративно-состязательная сеть (ГСС), представленная Иэном Гудфеллоу и его коллегами в 2014 году, генерирует реалистичные синтетические данные посредством конкуренции двух нейронных сетей — генератора и дискриминатора.

Она широко используется для синтеза изображений, аугментации данных и оценки распределения.

Интуиция метода

Представьте себе фальшивомонетчика и детектива, участвующих в состязании. Генератор (фальшивомонетчик) пытается создать поддельные образцы, достаточно убедительные, чтобы сойти за настоящие, в то время как дискриминатор (детектив) пытается отличить реальные данные от подделок. По мере того как каждый из них совершенствуется в своей работе, генератор вынужден производить все более реалистичные результаты, пока его подделки не станут трудноотличимыми от подлинных данных.

История

Генеративно-состязательная сеть была представлена Иэном Гудфеллоу и его коллегами в 2014 году, представив генерацию как игру двух игроков между генератором и дискриминатором. Эта идея породила большое семейство вариантов для синтеза и преобразования изображений. Каррас и его коллеги (2020) существенно улучшили качество изображений с помощью StyleGAN, анализируя и улучшая его генеративную точность. В последнее время диффузионные модели стали ведущей альтернативой для высококачественной генерации.

Когда применять

Используйте ГСС, когда вам необходимо генерировать реалистичные синтетические образцы — синтез изображений, аугментация данных или оценка распределения — из высокоразмерных непрерывных данных, таких как изображения или аудио, и у вас есть достаточно большой набор данных (минимум около 500 наблюдений, при этом 1000 или более настоятельно предпочтительны). Она не предполагает нормально распределенных данных, но требует ресурсов GPU, и баланс генератор-дискриминатор должен контролироваться на предмет коллапса мод. На малых наборах данных состязательный баланс не может быть установлен; вариационный автокодировщик или более простой подход к аугментации данных более безопасен.

Ограничения и замечания

  • Обучение нестабильно и подвержено коллапсу мод, когда генератор охватывает лишь часть распределения данных.
  • Требует GPU и значительного объема обучающих данных — обычно минимум 500 наблюдений, а на практике 1000 или более.
  • При количестве образцов менее примерно 1000 баланс генератор-дискриминатор не может быть установлен, и риск коллапса мод становится очень высоким.
  • При количестве образцов менее примерно 500 модель вообще не может производить реалистичные данные, и предпочтительны альтернативы аугментации.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Производит высокореалистичные синтетические данные, включая изображения и аудио.
  • Не требует нормально распределенных данных и обрабатывает высокоразмерные непрерывные входные данные.
  • Полезен для аугментации данных, когда реальных размеченных образцов мало.
  • Подходит как для прогнозирования, так и для целей разведочной оценки распределения.

Применение

  • Синтез изображений и генерация реалистичного визуального контента.
  • Аугментация данных для расширения скудных обучающих наборов данных.
  • Оценка распределения для высокоразмерных непрерывных данных.
  • Синтез аудио и сигналов.

Как это работает

Как это работает

1

Две сети настраиваются с противоположными целями. Генератор преобразует случайный шум в синтетические образцы, стремясь имитировать распределение реальных данных. Дискриминатор получает как реальные, так и сгенерированные образцы и учится классифицировать, какой из них является каким. Поскольку данные обычно являются высокоразмерными (изображения, аудио), обучение обычно требует графического процессора (GPU).

2

Две сети обучаются совместно как минимаксная игра: дискриминатор обновляется, чтобы максимизировать свою способность разделять реальные и поддельные данные, в то время как генератор обновляется, чтобы минимизировать успех дискриминатора — то есть, чтобы обмануть его. Общая цель связывает обе сети, поэтому улучшение одной оказывает давление на другую.

Формула
\min_G \max_D \; \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1 - D(G(z)))]
3

Обучение продолжается до тех пор, пока не будет достигнуто равновесие, при котором образцы генератора достаточно точно соответствуют реальному распределению, так что дискриминатор больше не может надежно их различать. Баланс между двумя сетями должен тщательно контролироваться, поскольку нестабильность может привести к коллапсу мод, когда генератор производит лишь узкий срез возможных выходов.

Частые ошибки

  • Обучение на слишком малом объеме данных, что приводит к нарушению состязательного баланса и последующему коллапсу мод.
  • Не отслеживание коллапса мод и предположение о разнообразном выходе без проверки разнообразия образцов.
  • Попытка обучения без ресурсов GPU для высокоразмерных изображений или аудиоданных.
  • Использование ГСС на малом наборе данных, где вариационный автокодировщик или простая аугментация были бы более надежными.

Часто задаваемые вопросы

Что такое коллапс мод?

Коллапс мод происходит, когда генератор учится производить лишь узкий набор выходов, которые надежно обманывают дискриминатор, вместо того чтобы охватывать все разнообразие реальных данных. Это основной режим отказа обучения ГСС, особенно на малых наборах данных, и разнообразие образцов должно контролироваться на протяжении всего обучения.

Сколько данных мне нужно?

ГСС требует значительного набора данных: около 500 наблюдений — это практический минимум, но при количестве менее примерно 1000 баланс генератор-дискриминатор трудно установить, и риск коллапса мод высок. При очень малом количестве данных вариационный автокодировщик или более простой метод аугментации является более безопасным выбором.

Нужен ли мне GPU?

На практике да. ГСС работают с высокоразмерными данными, такими как изображения и аудио, и обучение двух конкурирующих сетей является вычислительно интенсивным, поэтому GPU фактически необходим.

Чем ГСС отличается от диффузионной модели?

ГСС генерирует данные посредством состязательной конкуренции двух сетей, что делает обучение быстрым, но нестабильным. Диффузионные модели вместо этого учатся обращать пошаговый процесс зашумления и стали сильной альтернативой для высококачественной генерации.

Похожие методы

Источники

  1. Goodfellow, I. et al. (2014). Generative Adversarial Nets. NeurIPS.

    Открыть ссылку на публикацию
    Скопировано.
  2. Karras, T. et al. (2020). Analyzing and Improving the Image Quality of StyleGAN. CVPR.

    Открыть ссылку DOI
    Скопировано.