扩散模型
- 提出者
- Ho, J., Jain, A. & Abbeel, P.
- 年份
- 2020
- 类型
- Generative deep learning (denoising diffusion)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
扩散模型是一种生成式深度学习方法,由 Ho、Jain 和 Abbeel 于 2020 年(DDPM)提出,通过逆转一个逐步加噪的过程来学习生成高质量的图像、音频和分子结构。它在很大程度上取代了 GAN,成为当前生成建模的最新技术水平。
方法背后的直觉
想象一下,通过一次添加一点随机噪声,将一张照片逐渐模糊成纯粹的静态噪声。扩散模型学习的是相反的过程:从随机噪声开始,在每一步去除一点噪声,直到出现一个干净、逼真的样本。因为它只需要一次只撤销一个小的噪声步骤,所以学习任务比一次性生成整个图像要稳定得多。
历史学
Ho、Jain 和 Abbeel 于 2020 年提出了去噪扩散概率模型,该模型建立在早期的扩散思想之上,并展示了与 GAN 相当的图像质量。2022 年,Rombach 及其同事提出了潜在扩散模型,在压缩的潜在空间中运行扩散过程;这使得高分辨率合成变得可行,并支撑了 Stable Diffusion 等系统。此后,扩散模型已成为主流的生成方法,在很大程度上取代了 GAN。
何时使用
当你需要生成高保真图像、音频或分子结构,并且拥有大型数据集(约 1000 个样本或更多)或可访问的预训练模型时,请使用扩散模型。它假定有大量数据或预训练,并且需要 GPU/TPU 硬件;由于采样需要经过许多去噪步骤的迭代,因此推理可能很慢。如果样本少于大约 1000 个,模型就无法很好地学习去噪过程,使用像变分自编码器这样更简单的生成器会更安全。
局限与注意事项
- 需要大量数据集或预训练模型——数据量少会导致生成质量差。
- 训练和实际使用都需要 GPU/TPU 硬件。
- 由于采样需要经过许多去噪步骤的迭代,因此推理速度很慢。
- 在大约 1000 个样本以下,无法可靠地学习去噪过程。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 与 GAN 相比,在图像、音频和分子方面生成更高质量、更多样化的样本。
- 训练稳定,避免了 GAN 中常见的模式崩溃和对抗性不稳定性。
- 潜在扩散变体使高分辨率生成在计算上可行。
- 自然支持条件生成,例如文本到图像提示。
应用
- 高分辨率图像合成和文本到图像生成。
- 音频和语音生成。
- 化学和自然科学中的分子和材料结构生成。
- 来自预训练骨干网络的数据增强和条件生成。
使用方式
使用方式
一个固定的前向过程通过在许多步中添加少量高斯噪声来破坏每个训练样本,直到数据变成纯噪声。这个过程不需要学习——它只是定义了模型之后将要逆转的从干净数据到噪声的轨迹。
公式
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)训练一个神经网络(通常是 U-Net)来预测给定步骤中添加的噪声。通过最小化许多时间步和样本中真实噪声与预测噪声之间的平方误差,网络学会了如何将一个带噪声的输入一步步地移近干净数据。
公式
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]为了生成一个新样本,模型从随机噪声开始,并反复应用学习到的去噪步骤,减去预测的噪声并添加一个小的随机项,直到出现一个干净的输出。潜在扩散变体(Stable Diffusion)在压缩的潜在空间中运行这个循环,以使高分辨率生成变得可行。
公式
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z常见陷阱
- 尝试在小型数据集上从头开始训练,而不是微调预训练模型。
- 低估计算量:训练甚至推理都需要 GPU/TPU 资源。
- 期望实时输出,而多步采样使得推理本质上很慢。
- 在许多情况下,一个简单的生成器(例如 VAE)就足够了,但却使用了扩散模型。
常见问题
扩散模型与 GAN 有何不同?
两者都是生成式的,但 GAN 训练一个生成器对抗一个判别器,这可能不稳定且容易发生模式崩溃。扩散模型则学习逐步逆转加噪过程,提供更稳定的训练和通常更高质量、更多样化的样本。
我需要多少数据?
从头开始训练通常需要大约 1000 个样本或更多;在此以下,无法很好地学习去噪过程。对于少量数据,请微调预训练模型或使用像变分自编码器这样更简单的生成器。
为什么生成速度慢?
采样从噪声开始,并按顺序多次应用学习到的去噪步骤,因此生成一个样本需要多次网络通过。潜在扩散变体通过在压缩的潜在空间中工作来降低成本。
我需要特殊硬件吗?
是的。扩散模型需要 GPU 或 TPU 硬件进行训练和实际推理;仅 CPU 使用通常不切实际。