主动学习自编码器异常检测
- 提出者
- Multiple (Guo et al.; Pimentel et al.)
- 年份
- 2014–2018
- 类型
- Active learning + unsupervised deep anomaly detection hybrid
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
主动学习自编码器异常检测结合了自编码器无监督重构误差评分与主动学习查询循环。该模型将高误差实例标记为候选异常,选择性地要求人类专家标注信息量最大的实例,并进行迭代重训练——以极小的标注预算实现强大的异常检测能力。
方法背后的直觉
普通的自编码器学习重构正常数据,并将高重构误差视为异常,但它无法反馈这些标记是否正确。主动学习增加了一个智能查询步骤:在对所有未标记样本评分后,系统选择最不确定或误差最高的候选样本,并仅要求专家标注这些样本。每个标注的实例都能立即改进模型对何为真实异常或噪声离群点的判断,从而以最小的标注工作量锐化检测边界。
历史学
自编码器式异常检测起源于 2010 年代的 the novelty detection 文献,Pimentel 等人(2014)对其进行了全面综述。由于网络入侵和医学监测等领域的实际标注限制,将其与主动学习相结合的驱动力日益增强。到 2010 年代末,Guo、Görnitz 等人的论文将针对重构误差地形定制的查询策略形式化,将这种混合方法确立为深度异常检测文献中一个公认的方法。
何时使用
当您拥有大量包含稀有异常的未标记数据,标注成本高昂或需要专家判断,并且您的标注预算有限时,可以使用此方法。它非常适用于工业故障检测、医学异常筛查、欺诈检测和入侵检测等领域,这些领域中的异常既稀少又异质。当您拥有充足的标注数据时(此时监督方法会表现更好),或者当专家不可用或不可靠时,应避免使用此方法。当异常概念变化迅速以至于迭代重训练无法跟上时,此方法也不适用。
局限与注意事项
- 查询循环引入了人机交互的延迟;专家在整个训练过程中必须可用。
- 性能取决于查询策略的质量——糟糕的获取函数可能将标注预算浪费在冗余样本上。
- 自编码器可能无法检测到恰好能被良好重构的异常(例如,对抗性样本或分布内离群点)。
- 深度网络的迭代重训练可能计算成本高昂,特别是对于大型模型或流式数据。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 仅用少量标注预算即可实现强大的检测性能,使专家标注更具成本效益。
- 自编码器阶段的初始训练完全不需要标签,可以在任何查询之前实现有用的冷启动。
- 主动查询将标注工作集中在信息量最大的边界情况,从而改进异常阈值的校准。
- 灵活的架构:自编码器骨干可以替换为卷积、循环或变分变体,以适应不同的数据模态。
- 结合了深度学习的表示能力和主动学习的标签效率。
应用
- 工业故障和缺陷检测,其中标注的故障样本稀少且获取成本高昂。
- 医学影像异常筛查,结合放射科医生的迭代标注。
- 网络入侵检测,由安全分析师标注可疑流量。
- 金融交易欺诈检测,其中欺诈模式不断演变且标注的欺诈案例稀少。
- 用于时间序列传感器数据的预测性维护,仅需少量工程师标注的故障事件。
使用方式
使用方式
首先,自编码器在可用的未标记数据上进行训练——理想情况下,这些数据主要为正常样本。编码器将每个输入压缩成一个潜在表示,解码器则对其进行重构。网络通过最小化训练集上的重构误差来学习正常模式的流形。
训练完成后,每个未标记实例都获得一个异常分数,等于其重构误差(均方误差或平均绝对误差)。自编码器无法很好重构的实例偏离了学习到的正常流形,因此得分最高。
公式
s_i = \|x_i - \hat{x}_i\|^2主动学习的获取函数——例如最高重构误差、边际采样或下游分类器的不确定性——选择信息量最大的未标记实例,并将其呈现给人类专家进行标注。每次迭代仅花费少量查询预算。
新标注的实例被纳入训练集。自编码器(以及在标注的异常/正常样本对上训练的任何监督头部)被重新训练或微调。异常分数被重新计算,查询-标注-重训练循环重复进行,直到标注预算耗尽。
选择重构误差的决策阈值——通常通过在标注子集上进行验证来确定——并将该阈值之上所有未标记的实例分类为异常。主动学习提供的标注反馈使得这个阈值的选择比依赖任意分位数更加有原则。
常见陷阱
- 在已包含许多异常的数据集上训练自编码器会扭曲重构基线并降低评分。
- 仅将重构误差作为查询函数而不考虑多样性,会导致在密集正常区域查询冗余。
- 在对标注数据进行微调时忽略类别不平衡;稀有异常标签需要加权或过采样。
- 在没有使用专家提供的标签的情况下,在未标记数据上设置异常阈值会破坏主动学习的目的。
- 过早停止查询循环,在决策边界稳定之前就将初始重构分数视为最终分数。
常见问题
通常需要多少标注查询?
结果因数据集和异常稀有度而异,但研究普遍表明,仅需 20-100 次标注查询即可获得有意义的提升。关键在于主动学习策略将这些查询集中在最不确定的决策边界样本上,而不是随机样本。
应该使用哪种查询策略?
最高重构误差是最简单的起点,并且通常具有竞争力。更复杂的选项包括:从在标注子集上训练的下游二元分类器进行不确定性采样,或结合信息量和多样性的混合策略,以避免查询冗余的簇。
我需要使用变分自编码器(VAE)而不是普通自编码器吗?
标准的自编码器适用于大多数表格和序列任务。VAE 提供了一个概率潜在空间,可以产生更好的查询选择不确定性估计,因此在图像数据或校准不确定性分数很重要时更可取。
如何在大多数数据未标记的情况下评估性能?
使用专家标注的子集作为独立的验证集来计算精确率、召回率和 AUC-ROC。对于未标记的池,报告主动学习迭代之前和之后的重构误差分布,以验证模型是否正在改进。
我可以在流式或在线环境中 O使用此方法吗?
是的,但查询循环必须适应滑动窗口或小批量机制。自编码器应增量更新,并且预算管理必须考虑概念漂移——早期看到的异常可能与后来出现的异常不同。
相关方法
参考文献
Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.
打开 DOI 文献已复制。Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)
打开出版物文献已复制。