集成自编码器异常检测
- 提出者
- Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
- 年份
- 2017
- 类型
- Ensemble unsupervised anomaly detection
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
集成自编码器异常检测通过在正常类别数据上训练多个自编码器神经网络,并聚合它们的重构误差来产生鲁棒的异常分数。该方法通过组合多个不同的自编码器而非依赖单一模型,来稳定离群值排序并降低对随机初始化或次优架构选择的敏感性。
方法背后的直觉
单个自编码器学习压缩然后重构正常观测值;异常值压缩效果差且产生高重构误差。问题在于,单个自编码器的异常分数是脆弱的——它取决于特定的随机初始化和架构。集成方法训练多个自编码器,每个自编码器使用不同的随机特征子集或数据子集,然后平均它们的重构误差。每个网络的个体特性会相互抵消,产生一个更稳定、更自信的异常信号,该信号更难被欺骗且更容易设置阈值。
历史学
自编码器异常检测在 Hinton 和 Salakhutdinov 于 2006 年发表关于深度自编码器的开创性工作后变得流行,其中高重构误差被视为一种自然的离群值信号。集成扩展由 Chen、Sathe、Aggarwal 和 Turaga 在 2017 年 SIAM 数据挖掘会议上正式提出,他们证明了通过特征装袋(feature bagging)使自编码器多样化,其性能可靠地优于任何单一模型。该方法现在已常规出现在网络入侵检测、预测性维护和医学监测的工业异常检测流程中。
何时使用
当您拥有绝大多数未标记数据,并希望在高维连续特征中检测稀有异常值时使用——例如,传感器流、交易日志或医学信号——并且单个自编码器在多次运行中表现不稳定。当没有异常值标签且您需要比单个网络更稳定的无监督基线时,也有效。当数据集非常小(正常观测值少于几百个每个特征)时不应使用,因为自编码器将无法学习有意义的流形。不适用于分类或稀疏文本数据,除非进行适当的嵌入预处理,并且当单个调优良好的隔离森林或单类 SVM 已足够时,不应使用,因为集成方法会增加训练时间和复杂性。
局限与注意事项
- 训练 K 个自编码器会成倍增加计算和内存需求;深度网络上的大型集成成本高昂。
- 假设异常值以高重构误差为特征——位于学习到的流形上的对抗性或结构化异常值可能会被忽略。
- 对训练数据中异常值的比例敏感;严重污染会损害学习到的正常流形。
- 超参数选择(模型数量、架构、聚合函数)需要验证数据或领域知识。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 与单个自编码器相比,降低了异常分数的方差,提供了跨随机种子更稳定的排序。
- 聚合多个不同的检测器可以捕捉到正常性的不同方面,提高了对异构异常类型的召回率。
- 完全无监督——不需要异常值标签,只需要正常或混合的未标记数据。
- 可扩展到基于距离的方法(如 k-NN 异常检测)效果不佳的高维连续数据。
- 与各种自编码器架构(标准、变分、卷积)兼容,以匹配数据结构。
- 集成分数比单个网络的得分更容易可靠地设置阈值,减少了校准工作量。
应用
- 来自高维数据包或流特征的网络入侵检测。
- 多变量传感器时间序列的预测性维护异常评分。
- 未标记或弱标记流中的金融交易欺诈检测。
- 用于检测罕见病理模式的医学生物信号监测(ECG、EEG)。
- 制造业质量控制,其中缺陷样本稀少。
- 主动学习标记活动之前的基线无监督离群值评分。
使用方式
使用方式
训练 K 个自编码器(假定为正常训练数据),每个自编码器具有不同的随机初始化,并且可选地使用不同的输入特征子集或网络架构。训练会促使每个网络最小化正常样本上的重构损失,从而学习正常行为的流形。
对于每个测试观测值,每个自编码器将其编码为潜在表示,然后解码回。原始输入与重构值之间的平方 L2 距离是每个网络的异常分数:高误差表明该观测值偏离了学习到的正常流形。
公式
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2将 K 个个体分数聚合为每个观测值的单个异常分数——通常通过平均、取最大值或应用秩归一化组合。平均可降低方差;最大值对至少一个检测器捕获异常值更敏感。
公式
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})将阈值应用于聚合分数,将观测值标记为异常。阈值通常通过在保留的正常数据上设定目标假阳性率来选择,或者在没有真实标签时,将分数最高的 p% 值视为异常。
常见陷阱
- 在训练集中无意识地包含异常值——这会破坏学习到的正常流形并抑制对污染的异常分数。
- 仅在训练集上进行评估,而没有保留的正常样本来校准阈值,导致过度自信的异常标签。
- 仅使用重构误差而未检查每个维度的贡献,掩盖了哪些特征驱动了异常分数。
- 将集成方法视为不需要调优——自编码器的数量、它们的深度以及聚合函数都会影响性能,并且应该进行验证。
- 将该方法应用于特征数量相对较少的观测值数据集,此时自编码器无法泛化,每个点似乎都是异常的。
常见问题
集成应包含多少个自编码器?
研究表明,超过大约 10-20 个不同的网络后,收益会递减。从 10 个开始,并监控聚合分数在不同运行中的稳定性;如果仍然存在差异,则增加更多或通过特征子采样来增加多样性。
如何引入自编码器之间的多样性?
常见策略包括随机初始化、随机输入特征子集(特征装袋)、不同的潜在维度大小、dropout 率或不同的架构(浅层 vs. 深层)。对于表格数据,特征装袋最简单且最有效。
训练数据是否需要不含异常值?
理想情况下是这样,但中度污染(低于约 5%)是可以容忍的。如果异常值的比例更高,自编码器会学习很好地重构它们,异常分数会缩小。在训练自编码器之前使用更简单的检测器(如隔离森林)进行预过滤会有所帮助。
如何设置异常阈值?
如果您有目标假阳性率(例如 1%),则将阈值设置在保留的正常数据上得分分布的相应百分位数。在没有任何标签的情况下,将得分最高的 p% 视为异常值,并通过领域专家或下游评估指标进行验证。
何时单个自编码器优于集成方法?
当计算资源严重受限、数据集很小,或者一个调优良好的自编码器在不同随机种子下已显示出稳定的性能时。集成方法主要在单个模型方差很高或预期存在异常多样性时才增加价值。
相关方法
参考文献
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.
打开出版物文献已复制。Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.
ISBN:978-3-319-47578-3已复制。