生成对抗网络
- 提出者
- Goodfellow, I. et al.
- 年份
- 2014
- 类型
- Generative deep learning (adversarial two-network game)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
生成对抗网络(Generative Adversarial Network, GAN)由 Ian Goodfellow 及其同事于 2014 年提出,它通过两个神经网络——生成器和判别器——的竞争来生成逼真的合成数据。GAN 被广泛用于图像合成、数据增强和分布估计。
方法背后的直觉
可以设想一个伪造者和一个侦探被锁定在一场竞赛中。生成器(伪造者)试图制造足以以假乱真的假样本,而判别器(侦探)则试图区分真实数据和假数据。随着双方各自能力的提高,生成器被迫生成越来越逼真的输出,直到其伪造品难以与真实数据区分。
历史学
生成对抗网络由 Ian Goodfellow 及其同事于 2014 年提出,将生成过程构建为生成器和判别器之间的双人博弈。这一思想催生了大量用于图像合成和转换的变体。Karras 及其同事(2020 年)通过 StyleGAN 大幅提高了图像质量,分析并改进了其生成保真度。最近,扩散模型已成为高质量生成领域的主要替代方案。
何时使用
当您需要从高维连续数据(如图像或音频)生成逼真的合成样本——用于图像合成、数据增强或分布估计——并且您拥有足够大的数据集(至少约 500 个观测值,强烈推荐 1000 个或更多)时,请使用 GAN。它不假设数据服从正态分布,但需要 GPU 资源,并且必须密切关注生成器-判别器平衡以防范模式崩溃。在小型数据集上,无法建立对抗平衡;使用变分自编码器或更简单的数据增强方法更安全。
局限与注意事项
- 训练不稳定,容易发生模式崩溃,即生成器仅覆盖数据分布的一部分。
- 需要 GPU 和大量训练数据——通常至少 500 个观测值,实际中 1000 个或更多。
- 低于约 1000 个样本时,难以建立生成器-判别器平衡,模式崩溃的风险很高。
- 低于约 500 个样本时,模型根本无法生成逼真的数据,此时更倾向于使用数据增强替代方法。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 生成高度逼真的合成数据,包括图像和音频。
- 不需要正态分布数据,并且可以处理高维连续输入。
- 在数据增强时,当真实标记样本稀缺时非常有用。
- 适用于预测和探索性分布估计目的。
应用
- 图像合成和逼真视觉内容的生成。
- 数据增强,以扩展稀缺的训练数据集。
- 高维连续数据分布估计。
- 音频和信号合成。
使用方式
使用方式
设置两个具有相反目标的网络。生成器将随机噪声映射为合成样本,旨在模仿真实数据分布。判别器接收真实样本和生成样本,并学习区分它们。由于数据通常是高维的(图像、音频),训练通常需要 GPU。
两个网络作为一个极小极大博弈(minimax game)进行联合训练:判别器更新以最大化其区分真实与虚假的能力,而生成器更新以最小化判别器的成功率——即欺骗判别器。共享的目标将两个网络耦合在一起,因此一个网络的改进会对另一个网络施加压力。
公式
\min_G \max_D \; \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1 - D(G(z)))]训练持续进行,直到接近一个平衡点,此时生成器的样本足够接近真实分布,以至于判别器无法可靠地区分它们。必须密切监控两个网络之间的平衡,因为不稳定性可能导致模式崩溃(mode collapse),即生成器仅产生可能输出的狭窄范围。
常见陷阱
- 在数据量过少的情况下进行训练,导致对抗平衡失败并随后发生模式崩溃。
- 未监控模式崩溃,并假设输出多样化而未检查样本多样性。
- 尝试在没有 GPU 资源的情况下对高维图像或音频数据进行训练。
- 在小型数据集上使用 GAN,而变分自编码器或简单的增强方法会更可靠。
常见问题
什么是模式崩溃?
模式崩溃发生在生成器学会仅生成一组狭窄的、能够可靠欺骗判别器的输出,而不是覆盖真实数据的全部多样性。这是 GAN 训练中的一种核心故障模式,尤其是在小型数据集上,应在整个训练过程中监控样本多样性。
需要多少数据?
GAN 需要大量数据集:约 500 个观测值是实际的最低要求,但低于约 1000 个时,生成器-判别器平衡难以建立,模式崩溃的风险很高。数据量非常少时,变分自编码器或更简单的数据增强方法是更安全的选择。
需要 GPU 吗?
实际上是需要的。GAN 处理高维数据,如图像和音频,并且训练两个竞争网络在计算上非常密集,因此实际上需要 GPU。
GAN 与扩散模型有何不同?
GAN 通过两个网络的对抗性竞争来生成,这使得训练速度快但不稳定。扩散模型则学习逆转一个逐步加噪的过程,并已成为高质量生成的一个强大替代方案。