Skip to content
返回搜索结果

自动编码器异常检测

提出者
Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
年份
2006–2014
类型
Unsupervised deep learning (reconstruction-based)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

自动编码器异常检测通过训练神经网络来压缩和重建正常数据。由于模型仅学习过正常数据的样子,异常输入会产生明显更高的重建误差——这些误差就成了异常分数。该方法不需要标记的异常数据,并且可以自然地扩展到高维数据,如传感器流、图像和日志记录。

方法背后的直觉

自动编码器被迫用比原始数据更少的数字来描述数据,然后重建原始数据。当仅在正常样本上进行训练时,它在重建正常模式方面会变得非常出色,而在重建任何异常模式方面则表现不佳。因此,重建误差就像一个天然的警报:低误差意味着输入看起来很熟悉;高误差则表明模型从未见过该输入,因此无法忠实地重现它。通过设置该误差的阈值,可以将连续分数转换为二元异常标志。

历史学

作为降维工具的自动编码器由 Hinton 和 Salakhutdinov 在 2006 年关于深度信念网络的《Science》论文中推广。随着深度学习的成熟,它们在异常检测中的应用在 2010 年代逐渐发展;Vincent 等人(2010)引入了去噪自动编码器,到 2010 年代中期,自动编码器已成为工业和网络安全领域无监督异常检测的标准基线。Chalapathy 和 Chawla 的 2019 年调查总结了该领域的最佳实践。

何时使用

当标记的异常样本稀缺或不存在,正常类别表示良好,并且数据维度对于诸如单类 SVM 等经典方法过高时,使用自动编码器异常检测。它在传感器时间序列、网络流量日志、医学成像和制造质量控制方面表现出色。当正常数据分布极其多样化或多峰(自动编码器可能无法找到紧凑的表示)时,当数据集非常小时(深度网络需要足够的数据才能泛化),或者当简单的、可解释的基于规则的阈值就足够时,应避免使用。当确实有标记的异常数据可用时,不要应用它——在这种情况下,监督或半监督分类器几乎总会优于它。

局限与注意事项

  • 需要足够大且具有代表性的正常数据样本;即使没有异常,罕见的正常子模式也可能被重建得很差。
  • 阈值选择是启发式的且敏感的:选择不当的 tau 会导致过多的误报或漏报。
  • 可解释性低——重建误差表明异常存在,但如果没有额外的分析(例如,按特征分解误差),则无法确定是哪些特征导致了异常。
  • 训练深度网络需要调整架构、学习率和正则化;该方法不像孤立森林或单类 SVM 那样开箱即用。
  • 如果异常污染了训练集,模型会部分学习重建它们,从而降低检测灵敏度。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 不需要标记的异常样本——训练只需要正常数据。
  • 自然地扩展到高维输入,如图像、时间序列和多传感器流。
  • 产生连续的异常分数,从而能够进行排序警报,而不是二元标志。
  • 可以捕获线性方法(如 PCA)无法表示的复杂非线性正常模式。
  • 架构灵活:卷积层用于图像,LSTM 层用于序列,前馈层用于表格数据。

应用

  • 工业预测性维护:从振动和温度传感器流中检测机器故障。
  • 网络安全:从数据包级别的日志中识别异常网络流量或入侵尝试。
  • 医学成像:在病灶标记数据稀缺时,标记 MRI 或 CT 扫描中的病理区域。
  • 金融欺诈检测:在信用卡或银行数据中发现异常交易模式。
  • 制造质量控制:在装配线上从摄像头图像中检测有缺陷的产品。
  • IT 运营:在 AIOps 管道中检测异常服务器或应用程序指标。

使用方式

使用方式

1

自动编码器网络仅在代表正常运行条件的数据上进行训练。目标是在这个仅包含正常数据的训练集上最小化重建损失(通常是均方误差),以便网络学习正常数据的紧凑内部表示。不需要异常标签。

2

在推理时,每个输入 x 都通过一个编码器,将其压缩到一个低维潜在向量,然后通过一个解码器,将其重建回原始空间。编码器-解码器对由学习到的权重参数化,并捕获正常数据流形(manifold)的几何结构。

公式
\hat{x} = f_{\theta}(g_{\phi}(x))
3

对于每个观测值,计算重建误差 e(x)——输入与其重建之间的平方(或绝对)差。由于自动编码器仅学习了正常流形,异常输入会远离该流形,产生高误差。

公式
e(x) = \|x - \hat{x}\|^2
4

选择一个决策阈值 tau,通常来自从一个未使用的正常验证集上的重建误差分布(例如,第95或99个百分位数)。此阈值将连续误差分数转换为二元决策边界。tau 的选择会权衡误报率和漏报率。

5

任何重建误差超过 tau 的观测值都会被标记为异常。超出的幅度也可以作为置信度分数,从而能够对警报进行排序优先级排序,而不是进行硬二元决策。

公式
\text{anomaly if } e(x) > \tau

常见陷阱

  • 在包含异常但未将其清除的情况下对数据集进行训练,因此模型会学习重建它本应标记的模式。
  • 在训练集本身而不是在未使用的验证集上设置阈值,从而产生一个乐观的阈值,该阈值在部署时会失效。
  • 在未对输入进行归一化的情况下比较不同特征尺度上的重建误差,导致误差被高方差特征主导。
  • 使用过大的瓶颈(bottleneck),允许自动编码器学习一个近乎恒等映射,从而忠实地重建所有内容——包括异常。
  • 仅报告二元分类指标(准确率),而不是精度-召回率和 AUROC,对于不平衡的异常检测任务,这些指标信息量要大得多。

常见问题

如何选择瓶颈大小?

瓶颈必须足够小以强制压缩正常模式,但又足够大以不丢失基本结构。通常的做法是将其设置为输入维度的约 10-30%,并通过检查未使用的正常数据的重建质量进行调整。

如果我的正常数据有多个模式(例如,不同的机器运行状态)怎么办?

单个自动编码器可能无法同等好地学习所有模式,在代表性不足但正常的模式下会产生误报。选项包括为每种模式训练单独的自动编码器,使用混合自动编码器方法,或者在可用时根据已知的模式标签进行条件化。

我应该如何设置异常阈值?

在干净的、未使用的正常数据验证集上计算重建误差,并将 tau 设置在较高的百分位数(95% 或 99%,取决于可接受的误报率)。如果存在一些标记的异常,则调整 tau 以最大化 F1 分数或所需的精度-召回率权衡。

这与孤立森林或单类 SVM 相比如何?

对于低到中等维度的表格数据,孤立森林和单类 SVM 通常更容易调整且更具可解释性。当维度非常高、时间或空间结构很重要,或者原始像素或波形是输入时,自动编码器就具有优势。

我可以使用变分自动编码器(VAE)代替吗?

是的。VAE 学习概率潜在空间,并通过重建概率而不是原始 MSE 来进行异常评分,这通常可以改善校准。当正常分布复杂或您想要经过良好校准的不确定性估计时,它们是一个自然的扩展。

相关方法

参考文献

  1. Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.

    打开出版物文献
    已复制。
  2. Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.

    打开 DOI 文献
    已复制。