基于得分的生成模型
- 提出者
- Song, Y. & Ermon, S.
- 年份
- 2019
- 类型
- Score-based generative model (SDE framework)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
基于得分的生成模型由Yang Song和Stefano Ermon于2019年提出,并于2021年推广到随机微分方程(SDE)框架,它学习数据密度的梯度——即得分,而不是直接预测噪声,并利用得分生成新样本。它是将扩散模型统一在连续时间框架下的数学泛化。
方法背后的直觉
该模型不是记住数据的外观,而是学习如何将任何点推向真实数据密集分布的区域。这个方向就是得分:对数密度的梯度。一旦你能从任何地方指向更高的密度,你就可以从纯噪声开始,一步一步地沿着这些方向前进,直到得到一个逼真的样本。
历史学
基于得分的生成模型由Song和Ermon于2019年提出,作为通过估计数据分布梯度进行生成建模的方法。2021年,Song及其同事将该思想重塑为随机微分方程框架,表明跨连续噪声水平的得分匹配可以泛化扩散模型,并将几种早期的生成公式统一在一个单一的连续时间视图下。
何时使用
当有大量训练集(约1000个观测值或更多)或预训练模型,并且可以使用GPU/TPU资源时,适用于连续数据的高保真生成和密度估计。它不作正态性假设,但采样器必须与所选SDE匹配。在约1000个观测值以下,变分自编码器是更安全的选择,在500个观测值以下,主成分分析(PCA)等更简单的方法更可取。
局限与注意事项
- 需要大量数据集(约1000+观测值)或预训练模型来可靠地估计密度梯度。
- 需要GPU/TPU硬件进行训练和采样。
- 必须选择与SDE类型匹配的采样器,增加了配置负担。
- 在小样本量下,得分估计很差,生成变得无意义。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 直接学习数据密度梯度,提供了扩散模型的原则性数学泛化。
- 连续时间SDE框架将多种扩散模型统一在一个目标下。
- 对数据不作正态性假设。
- 生成连续数据的高保真样本并支持密度估计。
应用
- 连续数据的(如图像)高保真生成。
- 密度估计和复杂数据分布建模。
- 连续时间生成建模,它包含离散扩散公式。
- 当有大量数据或预训练模型可用时的预测和解释性生成任务。
使用方式
使用方式
训练一个神经网络来估计数据分布的得分——即相对于输入的对数密度的梯度。它不是预测添加的噪声,而是学习指向数据集中区域的方向场,这也是该方法成为扩散模型的数学泛化的原因。
公式
s_\theta(x) \approx \nabla_x \log p(x)
一个前向随机微分方程通过注入高斯噪声的漂移项和扩散项,在连续时间内逐渐将数据腐蚀成噪声。这定义了一个平滑的、越来越嘈杂的分布族,网络学习这些分布在所有噪声水平下的得分。
公式
dx = f(x,t)\,dt + g(t)\,dw
生成过程通过求解相应的反向时间SDE来逆转,该SDE利用学习到的得分将样本从噪声引导回数据分布。SDE类型的选择决定了合适的采样器,并且积分在GPU或TPU硬件上运行。
公式
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}常见陷阱
- 在约1000个观测值阈值以下应用,此时得分无法准确估计。
- 使用与所选SDE公式不匹配的采样器。
- 尝试在没有GPU/TPU资源的情况下进行训练。
- 低于约500个观测值,此时基于SDE的生成无意义,应使用更简单的模型。
常见问题
模型学习的得分是什么?
得分是相对于输入的对数概率密度的梯度。在每个点和噪声水平上知道它,可以让模型将样本推向真实数据集中的区域。
这与扩散模型有什么关系?
它是扩散模型的数学泛化:通过将前向腐蚀和反向生成公式化为连续时间随机微分方程,基于得分的建模将扩散方法统一在一个框架下。
我需要多少数据?
大约1000个观测值或更多,或者一个预训练模型。低于1000个观测值,变分自编码器更安全;低于500个观测值,基于SDE的生成无意义,主成分分析(PCA)等更简单的方法更可取。
需要什么硬件?
训练和采样都需要GPU或TPU资源,并且必须选择与所使用的SDE类型匹配的采样器。