Skip to content
Назад к результатам поиска

Диффузионная модель

Автор метода
Ho, J., Jain, A. & Abbeel, P.
Год
2020
Тип
Generative deep learning (denoising diffusion)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Диффузионная модель — это генеративный метод глубокого обучения, представленный Ho, Jain и Abbeel в 2020 году (DDPM), который учится создавать высококачественные изображения, аудио и молекулярные структуры, обращая пошаговый процесс зашумления.

Он в значительной степени вытеснил GAN как текущий передовой метод в генеративном моделировании.

Интуиция метода

Представьте, что вы постепенно размываете фотографию до чистого шума, добавляя понемногу случайного шума за раз. Диффузионная модель изучает обратный путь: начиная со случайного шума, она удаляет немного шума на каждом шаге, пока не появится чистый, реалистичный образец. Поскольку ей нужно только отменять один небольшой шаг зашумления за раз, эту задачу гораздо стабильнее изучать, чем генерировать целое изображение за один проход.

История

Вероятностные диффузионные модели шумоподавления были представлены Ho, Jain и Abbeel в 2020 году, основываясь на более ранних диффузионных идеях и демонстрируя качество изображений, конкурентоспособное с GAN. В 2022 году Rombach и коллеги представили модели латентной диффузии, выполняющие диффузионный процесс в сжатом латентном пространстве; это сделало синтез в высоком разрешении практичным и лежит в основе таких систем, как Stable Diffusion. С тех пор диффузионные модели стали доминирующим генеративным подходом, в значительной степени заменив GAN.

Когда применять

Используйте диффузионную модель, когда вам нужно генерировать высококачественные изображения, аудио или молекулярные структуры, и у вас есть большой набор данных (около 1000 образцов или более) или доступ к предварительно обученной модели. Она предполагает наличие существенных данных или предварительного обучения и требует аппаратного обеспечения GPU/TPU; вывод может быть медленным, поскольку выборка итеративно проходит через множество шагов шумоподавления. При менее чем примерно 1000 образцах модель не может хорошо изучить процесс шумоподавления, и более простой генератор, такой как вариационный автокодировщик, будет безопаснее.

Ограничения и замечания

  • Требует большого набора данных или предварительно обученной модели — малые данные приводят к низкому качеству генерации.
  • Требуется аппаратное обеспечение GPU/TPU для обучения и практического использования.
  • Вывод медленный, поскольку выборка итеративно проходит через множество шагов шумоподавления.
  • При количестве образцов менее примерно 1000 процесс шумоподавления не может быть надежно изучен.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Производит более качественные и разнообразные образцы, чем GAN, для изображений, аудио и молекул.
  • Обучение стабильно, избегая коллапса мод и адверсарной нестабильности, которые присущи GAN.
  • Варианты латентной диффузии делают генерацию в высоком разрешении вычислительно осуществимой.
  • Естественно поддерживает условную генерацию, такую как генерация изображений по текстовому описанию.

Применение

  • Синтез изображений в высоком разрешении и генерация изображений по тексту.
  • Генерация аудио и речи.
  • Генерация молекулярных и материальных структур в химии и естественных науках.
  • Аугментация данных и условная генерация из предварительно обученных базовых моделей.

Как это работает

Как это работает

1

Фиксированный прямой процесс искажает каждый обучающий пример, добавляя небольшие количества гауссовского шума за много шагов, пока данные не превратятся в чистый шум. Этот процесс не требует обучения — он просто определяет траекторию от чистых данных к шуму, которую модель затем обратит.

Формула
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

Нейронная сеть (обычно U-Net) обучается предсказывать шум, который был добавлен на данном шаге. Минимизируя среднеквадратичную ошибку между истинным и предсказанным шумом по многим временным шагам и примерам, сеть учится приближать зашумленный входной сигнал на один шаг к чистым данным.

Формула
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

Для генерации нового образца модель начинает со случайного шума и многократно применяет изученный шаг шумоподавления, вычитая предсказанный шум и добавляя небольшой стохастический член, пока не появится чистый выход. Варианты латентной диффузии (Stable Diffusion) выполняют этот цикл в сжатом латентном пространстве, чтобы сделать генерацию в высоком разрешении осуществимой.

Формула
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

Частые ошибки

  • Попытка обучить с нуля на малом наборе данных вместо дообучения предварительно обученной модели.
  • Недооценка вычислительных ресурсов: обучение и даже вывод требуют ресурсов GPU/TPU.
  • Ожидание вывода в реальном времени, когда многошаговая выборка делает вывод по своей природе медленным.
  • Использование диффузионной модели, когда гораздо более простой генератор (например, VAE) был бы достаточен для имеющихся данных.

Часто задаваемые вопросы

Чем диффузионная модель отличается от GAN?

Обе являются генеративными, но GAN обучает генератор против дискриминатора, что может быть нестабильным и склонным к коллапсу мод. Диффузионная модель вместо этого учится обращать процесс зашумления шаг за шагом, обеспечивая более стабильное обучение и, как правило, более высокое качество и разнообразие образцов.

Сколько данных мне нужно?

Обучение с нуля обычно требует около 1000 образцов или более; при меньшем количестве процесс шумоподавления не может быть хорошо изучен. При малом количестве данных дообучите предварительно обученную модель или используйте более простой генератор, такой как вариационный автокодировщик.

Почему генерация медленная?

Выборка начинается с шума и многократно применяет изученный шаг шумоподавления последовательно, поэтому для получения одного образца требуется много проходов сети. Варианты латентной диффузии снижают затраты, работая в сжатом латентном пространстве.

Нужно ли мне специальное оборудование?

Да. Диффузионные модели требуют аппаратного обеспечения GPU или TPU для обучения и практического вывода; использование только CPU, как правило, непрактично.

Похожие методы

Источники

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    Открыть ссылку на публикацию
    Скопировано.
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    Открыть ссылку на публикацию
    Скопировано.