Генеративная модель на основе градиента (score-based)
- Автор метода
- Song, Y. & Ermon, S.
- Год
- 2019
- Тип
- Score-based generative model (SDE framework)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Генеративная модель на основе градиента, представленная Ян Сонгом и Стефано Эрмоном в 2019 году и обобщенная до фреймворка стохастических дифференциальных уравнений (СДУ) в 2021 году, изучает градиент плотности данных — градиент (score) — вместо прямого предсказания шума, и использует его для генерации новых выборок.
Это математическое обобщение, которое объединяет диффузионные модели в рамках непрерывно-временной формулировки.
Интуиция метода
Вместо запоминания того, как выглядят данные, модель учится, в каком направлении нужно подтолкнуть любую точку, чтобы она переместилась в области, где реальные данные плотные. Это направление и есть градиент (score): градиент логарифмической плотности. Как только вы можете указывать на более высокую плотность из любой точки, вы можете начать с чистого шума и шаг за шагом следовать этим направлениям, пока не получите реалистичную выборку.
История
Генеративное моделирование на основе градиента (score-based generative modeling) было представлено Сонгом и Эрмоном в 2019 году как генеративное моделирование путем оценки градиентов плотности данных. В 2021 году Сонг и его коллеги переформулировали идею в рамках стохастических дифференциальных уравнений, показав, что сопоставление градиентов (score matching) на непрерывных уровнях шума обобщает диффузионные модели и объединяет несколько более ранних генеративных формулировок под единым непрерывно-временным взглядом.
Когда применять
Подходит для генерации с высокой точностью и оценки плотности непрерывных данных при наличии большого обучающего набора (около 1000 наблюдений или более) или предварительно обученной модели, а также при возможности использования ресурсов GPU/TPU. Он не делает предположений о нормальности, но сэмплер должен соответствовать выбранному СДУ. При количестве наблюдений менее 1000 безопаснее использовать вариационный автокодировщик, а при количестве менее 500 предпочтительнее более простой метод, такой как метод главных компонент (PCA).
Ограничения и замечания
- Требует большого набора данных (около 1000+ наблюдений) или предварительно обученной модели для надежной оценки градиента плотности.
- Требует аппаратного обеспечения GPU/TPU для обучения и генерации выборок.
- Сэмплер должен быть выбран так, чтобы соответствовать типу СДУ, что добавляет сложности в настройке.
- На малых выборках оценка градиента (score) плохая, и генерация становится бессмысленной.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Напрямую изучает градиент плотности данных, обеспечивая принципиальное математическое обобщение диффузионных моделей.
- Фреймворк СДУ в непрерывном времени объединяет множество диффузионных формулировок под одной целью.
- Отсутствие предположений о нормальности данных.
- Производит выборки непрерывных данных с высокой точностью и поддерживает оценку плотности.
Применение
- Генерация непрерывных данных, таких как изображения, с высокой точностью.
- Оценка плотности и моделирование сложных распределений данных.
- Генеративное моделирование в непрерывном времени, которое включает в себя дискретные диффузионные формулировки.
- Задачи предсказания и объяснительного моделирования, где доступны большие объемы данных или предварительно обученные модели.
Как это работает
Как это работает
Нейронная сеть обучается оценивать градиент (score) распределения данных — градиент логарифмической плотности по отношению к входным данным. Вместо предсказания добавленного шума, она изучает поле направлений, указывающих туда, где сконцентрированы данные, что делает этот подход математическим обобщением диффузионных моделей.
Формула
s_\theta(x) \approx \nabla_x \log p(x)
Прямое стохастическое дифференциальное уравнение постепенно искажает данные до шума в течение непрерывного времени, с дрейфовым членом и диффузионным членом, впрыскивающим гауссовский шум. Это определяет гладкое семейство все более зашумленных распределений, градиенты (scores) которых сеть изучает на всех уровнях шума.
Формула
dx = f(x,t)\,dt + g(t)\,dw
Генерация обращает процесс, решая соответствующее стохастическое дифференциальное уравнение в обратном времени, которое использует изученный градиент (score) для направления выборок из шума обратно к распределению данных. Выбор типа СДУ определяет подходящий сэмплер, а интегрирование выполняется на оборудовании GPU или TPU.
Формула
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}Частые ошибки
- Применение ниже порога ~1000 наблюдений, когда градиент (score) не может быть точно оценен.
- Использование сэмплера, не соответствующего выбранной формулировке СДУ.
- Попытка обучения без ресурсов GPU/TPU.
- Снижение количества наблюдений ниже ~500, когда генерация на основе СДУ бессмысленна и следует использовать более простую модель.
Часто задаваемые вопросы
Что такое градиент (score), который изучает модель?
Градиент (score) — это градиент логарифмической плотности вероятности по отношению к входным данным. Знание его в каждой точке и на каждом уровне шума позволяет модели перемещать выборки в области, где сконцентрированы реальные данные.
Как это связано с диффузионными моделями?
Это математическое обобщение диффузионных моделей: формулируя прямое искажение и обратную генерацию как стохастические дифференциальные уравнения в непрерывном времени, моделирование на основе градиента (score-based modeling) объединяет диффузионные подходы в едином фреймворке.
Сколько данных мне нужно?
Около 1000 наблюдений или более, либо предварительно обученная модель. При количестве менее 1000 безопаснее использовать вариационный автокодировщик, а при количестве менее 500 генерация на основе СДУ бессмысленна, и предпочтительнее использовать более простой метод, такой как метод главных компонент (PCA).
Какое аппаратное обеспечение требуется?
Ресурсы GPU или TPU необходимы как для обучения, так и для генерации выборок, и сэмплер должен быть выбран так, чтобы соответствовать типу используемого СДУ.
Похожие методы
Источники
Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.
Открыть ссылку на публикациюСкопировано.Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.
Открыть ссылку на публикациюСкопировано.