Skip to content
返回搜索结果

自编码器

提出者
Hinton, G.E. & Salakhutdinov, R.R.
年份
2006
类型
Neural network (encoder-decoder)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

自编码器是一种编码器-解码器神经网络,由Hinton和Salakhutdinov于2006年推广,它将数据压缩成低维潜在编码,然后重建数据,从而实现降维和异常检测。通过学习通过狭窄的瓶颈重建其自身的输入,它发现了数据的紧凑表示。

方法背后的直觉

想象一下,被要求用一句话总结一篇长文章,然后仅凭这一句话重写整篇文章。要做到这一点,你必须只保留最重要的内容。自编码器正是学习这种纪律:它将每个观测值挤压通过一个狭窄的瓶颈,并试图从被挤压的代码中重建原始数据。任何能够通过挤压的东西都是数据的本质,而网络无法很好地重建的输入则会作为异常值脱颖而出。

历史学

通过重建输入来学习紧凑编码的自编码器思想,由Geoffrey Hinton和Ruslan Salakhutdinov在其2006年的Science论文中推广,该论文表明深度神经网络可以比经典的线性技术更有效地降低数据维度。这项工作帮助将神经网络确立为表示学习的实用工具。

何时使用

当你有相当大的样本量——大约200个观测值或更多——时,可以使用自编码器对连续值数据进行非线性降维或异常检测。它不需要正态分布的数据,但需要足够的数据来学习有意义的潜在空间,并且选择隐藏层的大小至关重要。对于小样本(约200个以下),PCA是更安全的选择,而对于约50个以下,神经网络降维会完全失败。

局限与注意事项

  • 需要相当大的样本量——约200个观测值或更多——来学习有意义的潜在空间。
  • 选择隐藏层(潜在层)的大小至关重要,并强烈影响结果。
  • 在小数据集上,它无法学习潜在空间,更简单的PCA是首选。
  • 在约50个观测值以下,基于神经网络的降维会完全失败。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 捕捉PCA等线性方法所忽略的非线性结构。
  • 从相同的学习表示中同时实现降维和异常检测。
  • 假设较少:不需要正态分布的数据。
  • 潜在编码提供了复杂连续数据的紧凑、学习到的表示。

应用

  • 对高维连续数据进行非线性降维。
  • 通过标记具有大重建误差的观测值来进行异常检测。
  • 学习紧凑的潜在表示作为下游任务的特征。
  • 对线性降维不足的复杂数据进行探索性分析。

使用方式

使用方式

1

编码器通过一个或多个隐藏层将输入映射到一个低维潜在编码。这个隐藏层(瓶颈层)的大小是关键的设计选择:太宽,网络就会简单地复制输入;太窄,它就会丢失有意义的结构。

公式
z = f(Wx + b)
2

解码器接收潜在编码,并通过隐藏层将其扩展回原始维度,生成输入的重建。编码器和解码器作为一个单一网络一起训练。

公式
\hat{x} = g(W'z + b')
3

训练最小化重建误差——输入与其重建版本之间的差异。训练完成后,潜在编码作为降维的压缩表示,而大的重建误差则标记不符合学习模式的观测值,从而支持异常检测。

公式
\min \; \lVert x - \hat{x} \rVert^2

常见陷阱

  • 将其应用于PCA足够且更可靠的小样本。
  • 将瓶颈设置得太宽,导致网络复制输入而不是压缩它。
  • 将瓶颈设置得太窄,丢弃了有意义的结构。
  • 将其用于不适合的数据类型,而不是连续值特征。

常见问题

自编码器与PCA有何不同?

PCA找到数据的最佳线性投影,而自编码器可以通过其隐藏层学习非线性表示。对于小样本或当线性摘要足够时,PCA更简单可靠;当数据具有非线性结构且样本量足够大时,自编码器才显现优势。

我需要多少数据?

大约200个观测值或更多。在此之下,网络无法学习有意义的潜在空间,PCA是更安全的选择;在约50个观测值以下,神经网络降维会完全失败。

如何用它来检测异常?

训练后,将观测值通过网络并测量其重建误差。模型重建效果差的点——那些误差大的点——不符合学习的模式,并被标记为异常。

什么是最重要的设置?

隐藏层(瓶颈层)的大小。太宽,网络只是复制输入而没有学习到有用的压缩;太窄,它就会丢弃有意义的结构。

相关方法

参考文献

  1. Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.

    打开 DOI 文献
    已复制。