Skip to content
返回搜索结果

生成对抗网络

提出者
Goodfellow, I. et al.
年份
2014
类型
Generative deep learning (adversarial two-network game)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

生成对抗网络(Generative Adversarial Network, GAN)由 Ian Goodfellow 及其同事于 2014 年提出,它通过两个神经网络——生成器和判别器——的竞争来生成逼真的合成数据。GAN 被广泛用于图像合成、数据增强和分布估计。

方法背后的直觉

可以设想一个伪造者和一个侦探被锁定在一场竞赛中。生成器(伪造者)试图制造足以以假乱真的假样本,而判别器(侦探)则试图区分真实数据和假数据。随着双方各自能力的提高,生成器被迫生成越来越逼真的输出,直到其伪造品难以与真实数据区分。

历史学

生成对抗网络由 Ian Goodfellow 及其同事于 2014 年提出,将生成过程构建为生成器和判别器之间的双人博弈。这一思想催生了大量用于图像合成和转换的变体。Karras 及其同事(2020 年)通过 StyleGAN 大幅提高了图像质量,分析并改进了其生成保真度。最近,扩散模型已成为高质量生成领域的主要替代方案。

何时使用

当您需要从高维连续数据(如图像或音频)生成逼真的合成样本——用于图像合成、数据增强或分布估计——并且您拥有足够大的数据集(至少约 500 个观测值,强烈推荐 1000 个或更多)时,请使用 GAN。它不假设数据服从正态分布,但需要 GPU 资源,并且必须密切关注生成器-判别器平衡以防范模式崩溃。在小型数据集上,无法建立对抗平衡;使用变分自编码器或更简单的数据增强方法更安全。

局限与注意事项

  • 训练不稳定,容易发生模式崩溃,即生成器仅覆盖数据分布的一部分。
  • 需要 GPU 和大量训练数据——通常至少 500 个观测值,实际中 1000 个或更多。
  • 低于约 1000 个样本时,难以建立生成器-判别器平衡,模式崩溃的风险很高。
  • 低于约 500 个样本时,模型根本无法生成逼真的数据,此时更倾向于使用数据增强替代方法。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 生成高度逼真的合成数据,包括图像和音频。
  • 不需要正态分布数据,并且可以处理高维连续输入。
  • 在数据增强时,当真实标记样本稀缺时非常有用。
  • 适用于预测和探索性分布估计目的。

应用

  • 图像合成和逼真视觉内容的生成。
  • 数据增强,以扩展稀缺的训练数据集。
  • 高维连续数据分布估计。
  • 音频和信号合成。

使用方式

使用方式

1

设置两个具有相反目标的网络。生成器将随机噪声映射为合成样本,旨在模仿真实数据分布。判别器接收真实样本和生成样本,并学习区分它们。由于数据通常是高维的(图像、音频),训练通常需要 GPU。

2

两个网络作为一个极小极大博弈(minimax game)进行联合训练:判别器更新以最大化其区分真实与虚假的能力,而生成器更新以最小化判别器的成功率——即欺骗判别器。共享的目标将两个网络耦合在一起,因此一个网络的改进会对另一个网络施加压力。

公式
\min_G \max_D \; \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1 - D(G(z)))]
3

训练持续进行,直到接近一个平衡点,此时生成器的样本足够接近真实分布,以至于判别器无法可靠地区分它们。必须密切监控两个网络之间的平衡,因为不稳定性可能导致模式崩溃(mode collapse),即生成器仅产生可能输出的狭窄范围。

常见陷阱

  • 在数据量过少的情况下进行训练,导致对抗平衡失败并随后发生模式崩溃。
  • 未监控模式崩溃,并假设输出多样化而未检查样本多样性。
  • 尝试在没有 GPU 资源的情况下对高维图像或音频数据进行训练。
  • 在小型数据集上使用 GAN,而变分自编码器或简单的增强方法会更可靠。

常见问题

什么是模式崩溃?

模式崩溃发生在生成器学会仅生成一组狭窄的、能够可靠欺骗判别器的输出,而不是覆盖真实数据的全部多样性。这是 GAN 训练中的一种核心故障模式,尤其是在小型数据集上,应在整个训练过程中监控样本多样性。

需要多少数据?

GAN 需要大量数据集:约 500 个观测值是实际的最低要求,但低于约 1000 个时,生成器-判别器平衡难以建立,模式崩溃的风险很高。数据量非常少时,变分自编码器或更简单的数据增强方法是更安全的选择。

需要 GPU 吗?

实际上是需要的。GAN 处理高维数据,如图像和音频,并且训练两个竞争网络在计算上非常密集,因此实际上需要 GPU。

GAN 与扩散模型有何不同?

GAN 通过两个网络的对抗性竞争来生成,这使得训练速度快但不稳定。扩散模型则学习逆转一个逐步加噪的过程,并已成为高质量生成的一个强大替代方案。

相关方法

参考文献

  1. Goodfellow, I. et al. (2014). Generative Adversarial Nets. NeurIPS.

    打开出版物文献
    已复制。
  2. Karras, T. et al. (2020). Analyzing and Improving the Image Quality of StyleGAN. CVPR.

    打开 DOI 文献
    已复制。