Skip to content
返回搜索结果

半监督自编码器异常检测

提出者
Ruff, L. et al.; Zong, B. et al.
年份
2018–2020
类型
Semi-supervised deep anomaly detection
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

半监督自编码器异常检测主要使用正常(未标记)数据训练神经网络自编码器,然后利用少量标记异常数据来优化决策边界,将重建误差高的样本识别为异常。它弥补了纯无监督自编码器与全监督分类器之间的鸿沟,适用于标签稀缺但存在少量已知异常的情况。

方法背后的直觉

标准自编码器能很好地学习压缩和重建正常数据;而它从未见过的异常数据则重建效果差,因此重建误差可用于标记异常。纯无监督自编码器没有衡量何为异常的锚点——它们只知道什么是正常的。半监督变体在微调过程中使用少量标记异常作为负例,将模型的决策边界拉向真实世界的异常,而无需完全监督。其结果是,该检测器既数据高效,又比单独使用任一极端方法校准得更好。

历史学

自2014年深度学习兴起后,无监督自编码器异常检测受到关注。Zong et al. (ICLR 2018) 将自编码器与高斯混合模型结合用于无监督异常评分。Ruff et al. (ICLR 2020) 将半监督变体形式化,证明即使少量标记异常也能显著改善纯无监督基线的检测效果,建立了当今广泛使用的框架。

何时使用

当您拥有大量主要为正常的未标记数据,以及少量但可靠的已确认异常,并且现成的无监督异常检测器产生过多误报时,推荐使用此方法。对于高维或非线性数据(如传感器信号、网络流量或图像),传统方法(例如,单类支持向量机)扩展性差,此方法尤其有效。当完全没有标记异常时(优先选择无监督自编码器)或当您有足够的标签用于全监督分类器时,请勿使用。避免用于非常小的数据集(少于几百个样本),因为深度网络无法泛化。

局限与注意事项

  • 需要仔细划分:如果未标记池包含许多异常,预训练会受到污染,性能会显著下降。
  • 与浅层方法相比,深度自编码器在训练和调优时计算密集。
  • 可解释性有限;重建误差信号无法解释是哪些特征导致了异常。
  • 对架构深度、潜在维度以及无监督和监督目标之间的损失权重选择敏感。
  • 阈值选择并非易事,必须在保留的标记数据上进行验证,以避免任意截止点。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 有效利用大量未标记的正常数据和稀缺的标记异常,最大限度地提高数据效率。
  • 比基于核的方法(如单类支持向量机)更好地处理高维和非线性特征空间。
  • 异常分数(重建误差)是连续的,可以进行精细的阈值调整以满足操作要求。
  • 在正常数据上进行预训练提供了强大的先验知识,与完全监督方法相比,减少了所需的标记异常数量。
  • 架构灵活,可以整合卷积层、循环层或Transformer层,适用于图像、时间序列或文本数据。

应用

  • 工业故障和缺陷检测,针对传感器或遥测流中罕见但有记录的故障事件。
  • 网络入侵和网络安全异常检测,将已知攻击特征作为标记种子。
  • 医学影像或临床数据筛选,其中已确认的病理病例稀缺。
  • 金融欺诈检测,结合大量正常交易和少量已确认的欺诈交易。
  • 预测性维护流程,其中历史故障记录作为标记异常示例。

使用方式

使用方式

1

训练集被分为一个大的未标记数据池(假定大部分是正常的)和一小部分经过整理的标记异常数据。这种划分反映了现实世界中已确认异常标签的稀缺性,同时仍能利用所有可用的真实信号。

2

编码器-解码器网络在未标记数据池上进行预训练,以最小化重建损失,学习正常模式的紧凑潜在表示。此阶段建立了对“正常”概念的基础认知,无需任何标签。

3

在第二阶段,标记异常被整合进来——可以通过添加分类头、使用对比损失或超球面损失(如在Deep SVDD扩展中),或者通过惩罚已知异常的低重建误差。这会将决策边界推离已确认的异常点。

4

在推理时,每个样本都通过训练好的自编码器。异常分数通常是重建误差(输入和输出之间的均方误差)。可选地,也可以使用潜在空间中与正常类别质心的距离。

公式
s(x) = \|x - \hat{x}\|^2
5

异常分数阈值的选择——可利用标记异常、精确率-召回率曲线或目标误报率——以生成二元正常/异常标签。阈值的选择直接决定了精确率-召回率的权衡。

常见陷阱

  • 用未检测到的异常污染未标记的预训练池,从而破坏正常数据表示。
  • 在没有通过标记样本进行适当阈值校准的情况下,将重建误差视为校准后的概率。
  • 使用单一的训练/测试划分而没有交叉验证,导致对稀有异常类别的性能估计过于乐观。
  • 在没有实验的情况下选择潜在维度,可能过小(信息丢失)或过大(自编码器重建异常数据和正常数据一样好)。
  • 计算评估指标时忽略类别不平衡——在极端不平衡的情况下,准确率毫无意义;应使用AUROC和平均精确率。

常见问题

需要多少标记异常?

该方法最少只需十几个已确认异常即可工作,但性能在达到几百个时会显著提高。关键在于标记异常应涵盖领域中存在的主要异常行为类型。

如果我的未标记池中包含隐藏异常怎么办?

未标记数据污染是最大的失败模式。在微调之前,应用初步的无监督过滤器(例如,孤立森林)从预训练池中移除明显的异常值。

如何选择重建误差阈值?

使用您的标记异常集和精确率-召回率曲线来选择一个符合您对误报和漏报操作容忍度的阈值。切勿在用于训练模型的相同数据上选择阈值。

这比单类支持向量机或孤立森林更好吗?

在高维或非线性数据上,且至少有一些标记异常时,半监督自编码器通常优于单类支持向量机和孤立森林。在具有非常小样本的低维表格数据上,更简单的方法可以以更低的成本达到或超过其性能。

我应该报告哪些评估指标?

在保留真实异常流行率的保留测试集上报告AUROC和平均精确率(精确率-召回率曲线下面积)。固定阈值下的准确率和F1应作为次要指标,并提供阈值选择的理由。

相关方法

参考文献

  1. Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).

    打开出版物文献
    已复制。
  2. Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).

    打开出版物文献
    已复制。