自动编码器异常检测
- 提出者
- Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
- 年份
- 2006–2014
- 类型
- Unsupervised deep learning (reconstruction-based)
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
自动编码器异常检测通过训练神经网络来压缩和重建正常数据。由于模型仅学习过正常数据的样子,异常输入会产生明显更高的重建误差——这些误差就成了异常分数。该方法不需要标记的异常数据,并且可以自然地扩展到高维数据,如传感器流、图像和日志记录。
方法背后的直觉
自动编码器被迫用比原始数据更少的数字来描述数据,然后重建原始数据。当仅在正常样本上进行训练时,它在重建正常模式方面会变得非常出色,而在重建任何异常模式方面则表现不佳。因此,重建误差就像一个天然的警报:低误差意味着输入看起来很熟悉;高误差则表明模型从未见过该输入,因此无法忠实地重现它。通过设置该误差的阈值,可以将连续分数转换为二元异常标志。
历史学
作为降维工具的自动编码器由 Hinton 和 Salakhutdinov 在 2006 年关于深度信念网络的《Science》论文中推广。随着深度学习的成熟,它们在异常检测中的应用在 2010 年代逐渐发展;Vincent 等人(2010)引入了去噪自动编码器,到 2010 年代中期,自动编码器已成为工业和网络安全领域无监督异常检测的标准基线。Chalapathy 和 Chawla 的 2019 年调查总结了该领域的最佳实践。
何时使用
当标记的异常样本稀缺或不存在,正常类别表示良好,并且数据维度对于诸如单类 SVM 等经典方法过高时,使用自动编码器异常检测。它在传感器时间序列、网络流量日志、医学成像和制造质量控制方面表现出色。当正常数据分布极其多样化或多峰(自动编码器可能无法找到紧凑的表示)时,当数据集非常小时(深度网络需要足够的数据才能泛化),或者当简单的、可解释的基于规则的阈值就足够时,应避免使用。当确实有标记的异常数据可用时,不要应用它——在这种情况下,监督或半监督分类器几乎总会优于它。
局限与注意事项
- 需要足够大且具有代表性的正常数据样本;即使没有异常,罕见的正常子模式也可能被重建得很差。
- 阈值选择是启发式的且敏感的:选择不当的 tau 会导致过多的误报或漏报。
- 可解释性低——重建误差表明异常存在,但如果没有额外的分析(例如,按特征分解误差),则无法确定是哪些特征导致了异常。
- 训练深度网络需要调整架构、学习率和正则化;该方法不像孤立森林或单类 SVM 那样开箱即用。
- 如果异常污染了训练集,模型会部分学习重建它们,从而降低检测灵敏度。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 不需要标记的异常样本——训练只需要正常数据。
- 自然地扩展到高维输入,如图像、时间序列和多传感器流。
- 产生连续的异常分数,从而能够进行排序警报,而不是二元标志。
- 可以捕获线性方法(如 PCA)无法表示的复杂非线性正常模式。
- 架构灵活:卷积层用于图像,LSTM 层用于序列,前馈层用于表格数据。
应用
- 工业预测性维护:从振动和温度传感器流中检测机器故障。
- 网络安全:从数据包级别的日志中识别异常网络流量或入侵尝试。
- 医学成像:在病灶标记数据稀缺时,标记 MRI 或 CT 扫描中的病理区域。
- 金融欺诈检测:在信用卡或银行数据中发现异常交易模式。
- 制造质量控制:在装配线上从摄像头图像中检测有缺陷的产品。
- IT 运营:在 AIOps 管道中检测异常服务器或应用程序指标。
使用方式
使用方式
自动编码器网络仅在代表正常运行条件的数据上进行训练。目标是在这个仅包含正常数据的训练集上最小化重建损失(通常是均方误差),以便网络学习正常数据的紧凑内部表示。不需要异常标签。
在推理时,每个输入 x 都通过一个编码器,将其压缩到一个低维潜在向量,然后通过一个解码器,将其重建回原始空间。编码器-解码器对由学习到的权重参数化,并捕获正常数据流形(manifold)的几何结构。
公式
\hat{x} = f_{\theta}(g_{\phi}(x))对于每个观测值,计算重建误差 e(x)——输入与其重建之间的平方(或绝对)差。由于自动编码器仅学习了正常流形,异常输入会远离该流形,产生高误差。
公式
e(x) = \|x - \hat{x}\|^2选择一个决策阈值 tau,通常来自从一个未使用的正常验证集上的重建误差分布(例如,第95或99个百分位数)。此阈值将连续误差分数转换为二元决策边界。tau 的选择会权衡误报率和漏报率。
任何重建误差超过 tau 的观测值都会被标记为异常。超出的幅度也可以作为置信度分数,从而能够对警报进行排序优先级排序,而不是进行硬二元决策。
公式
\text{anomaly if } e(x) > \tau常见陷阱
- 在包含异常但未将其清除的情况下对数据集进行训练,因此模型会学习重建它本应标记的模式。
- 在训练集本身而不是在未使用的验证集上设置阈值,从而产生一个乐观的阈值,该阈值在部署时会失效。
- 在未对输入进行归一化的情况下比较不同特征尺度上的重建误差,导致误差被高方差特征主导。
- 使用过大的瓶颈(bottleneck),允许自动编码器学习一个近乎恒等映射,从而忠实地重建所有内容——包括异常。
- 仅报告二元分类指标(准确率),而不是精度-召回率和 AUROC,对于不平衡的异常检测任务,这些指标信息量要大得多。
常见问题
如何选择瓶颈大小?
瓶颈必须足够小以强制压缩正常模式,但又足够大以不丢失基本结构。通常的做法是将其设置为输入维度的约 10-30%,并通过检查未使用的正常数据的重建质量进行调整。
如果我的正常数据有多个模式(例如,不同的机器运行状态)怎么办?
单个自动编码器可能无法同等好地学习所有模式,在代表性不足但正常的模式下会产生误报。选项包括为每种模式训练单独的自动编码器,使用混合自动编码器方法,或者在可用时根据已知的模式标签进行条件化。
我应该如何设置异常阈值?
在干净的、未使用的正常数据验证集上计算重建误差,并将 tau 设置在较高的百分位数(95% 或 99%,取决于可接受的误报率)。如果存在一些标记的异常,则调整 tau 以最大化 F1 分数或所需的精度-召回率权衡。
这与孤立森林或单类 SVM 相比如何?
对于低到中等维度的表格数据,孤立森林和单类 SVM 通常更容易调整且更具可解释性。当维度非常高、时间或空间结构很重要,或者原始像素或波形是输入时,自动编码器就具有优势。
我可以使用变分自动编码器(VAE)代替吗?
是的。VAE 学习概率潜在空间,并通过重建概率而不是原始 MSE 来进行异常评分,这通常可以改善校准。当正常分布复杂或您想要经过良好校准的不确定性估计时,它们是一个自然的扩展。