Skip to content
返回搜索结果

半监督隔离森林

提出者
Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
年份
2013–2020
类型
Ensemble anomaly detection (semi-supervised extension)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

半监督隔离森林通过在大量无标签数据集中引入少量已标记的异常(以及可能的正常)样本,扩展了经典的隔离森林异常检测器。这种标签指导可以调整模型的异常分数,从而更可靠地分离已知异常,弥合完全无监督和完全监督检测之间的差距。

方法背后的直觉

标准的隔离森林通过随机树隔离点的速度来对异常进行评分——异常在更少的分割中被隔离。但没有任何标签,模型就无法了解在您的领域中什么才算异常。半监督隔离森林引入了少量已确认的样本(已知异常、已知正常样本或两者兼有),并利用它们来校准或重新加权评分过程。其结果是,森林固有的分离能力被引导至真正重要的异常模式,在无需完全标记的训练集的情况下,显著减少了误报和漏报。

历史学

隔离森林由Liu、Ting和Zhou于2008年首次提出,是一种基于随机递归划分的纯无监督异常检测器。认识到即使是少数标签也能显著提高检测效果,研究人员从大约2013年开始开发了半监督扩展,将标签指导纳入评分或树权重过程。Görnitz等人(2013年)奠定了相关的监督异常检测理论基础,而SSIF的实际变体则出现在解决欺诈检测和网络入侵的应用领域,贯穿2010年代后期。

何时使用

当您拥有大量无标签数据,但完全标记的成本过高,并且您至少可以获得一小部分已确认异常(以及可选的已确认正常样本)的标签时,请使用半监督隔离森林。它在网络安全、欺诈、预测性维护和医疗监测等领域中检测罕见事件尤其有价值,因为领域专家可以标记少量已知事件。当完全没有可用的已标记异常时(优先选择标准隔离森林或单类SVM),当数据是高维且稀疏且未经预处理时,或者当已有一个大型完全标记集时(完全监督分类器将优于它),则不应使用。

局限与注意事项

  • 如果已标记异常不能代表无标签数据中的异常分布,性能会下降。
  • 最佳的标签集成机制因实现而异;目前尚无单一普遍占优的变体。
  • 与标准iForest一样,它可能难以处理聚集在数据中心附近的异常或某些多模态分布。
  • 评估时需要小心避免标签泄露:已标记集不得与测试集重叠。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过将分数锚定到真实的已标记异常,实现了比完全无监督的iForest更高的精确率和召回率。
  • 仅需要少量标签,在标注成本高昂时非常实用。
  • 继承了iForest的亚线性训练时间和低内存占用,可扩展至大型数据集。
  • 处理高维表格数据,无需距离或密度假设。
  • 减少了任意阈值选择:已标记子集提供了原则性的校准基础。

应用

  • 使用少量已确认的攻击样本和正常流量进行网络入侵检测。
  • 金融欺诈检测,其中只有一小部分已确认的欺诈交易可用于标记。
  • 预测性维护:使用已确认的故障事件对传感器流上的异常分数进行校准。
  • 医疗监测:利用电子健康记录中已确认的病理病例来指导异常评分。
  • 制造业质量控制,其中只有一部分缺陷产品已得到独立验证。

使用方式

使用方式

1

可用数据被划分为一小部分已标记子集——包含已确认的异常、已确认的正常样本或两者兼有——以及一个大的无标签池。已标记子集是特意设计得较小的;获取完整的标签通常成本高昂或不切实际,而这正是该方法所针对的场景。

2

隔离树的集成模型在完整数据集(已标记和无标签)的随机子样本上生长,遵循标准的iForest过程:在每个内部节点,选择一个随机特征和该特征范围内的随机分割值,以递归地划分数据,直到每个点都被隔离。

3

每个观测值都会收到一个基于其在所有树上的平均路径长度得出的异常分数。更短的平均路径——意味着更容易隔离——会产生更高的异常分数。归一化分数s(x, n)映射到(0, 1],接近1的值表示强异常候选。

公式
s(x, n) = 2^{-E[h(x)] / c(n)}
4

已标记样本用于调整模型:根据具体变体,这可能涉及重新加权能够正确分离已知异常与正常样本的树或分割,在分数聚合中添加监督损失项,或利用已标记集在无监督分数之上学习决策边界。这一步是与标准iForest的区别所在。

5

将阈值应用于调整后的异常分数,以产生二元异常/正常决策。已标记子集支持数据驱动的阈值选择——例如,选择最大化已标记样本F1分数的截止值——而不是依赖于任意百分比。

常见陷阱

  • 同时拥有异常标签和正常标签时,仅使用异常标签而忽略正常标签——包含已确认的正常样本可以进一步锐化决策边界。
  • 在包含已标记训练样本的测试集上进行评估,夸大了性能指标。
  • 通过固定百分比选择异常分数阈值,而不是使用已标记集进行校准。
  • 假设当已标记异常仅涵盖一种子类型,而无标签池包含多种异常模式时,该方法是稳健的。
  • 在拟合之前忽略对高维或混合类型特征进行预处理,这可能导致随机分割选择的偏差。

常见问题

我需要多少已标记的异常?

即使是少数——有时仅需10-50个已确认的异常——也能提供有意义的校准。关键要求是它们能代表无标签池中存在的异常类型。跨异常子类型的更广泛的标签覆盖通常会带来更大的收益。

这与标准的隔离森林有何不同?

标准的隔离森林是完全无监督的,仅根据路径长度对异常进行评分,没有任何领域反馈。半监督隔离森林包含一个小的已标记集来调整分数或树权重,将模型引导至您领域中实际相关的异常模式,并实现原则性的阈值校准。

我可以包含已标记的正常样本以及异常样本吗?

是的,这通常是有益的。已标记的正常样本有助于模型更清晰地区分边界情况。一些变体将已标记集视为用于校准评分函数的平衡参考,因此包含两者(当两者都可用时)可以改善决策边界。

我应该使用交叉验证来评估模型吗?

是的,但要小心。已标记子集必须从测试集中排除或在测试集中得到妥善分层,以避免数据泄露。对已标记部分进行分层的训练/测试分割,并结合完整的无标签池进行训练,是标准的评估设置。

如果我的已标记异常不具代表性怎么办?

如果已标记异常仅涵盖了真实异常分布的一个狭窄切片,那么标签指导的调整可能会适得其反。在这种情况下,模型可能会错过它从未见过的新的异常类型。建议在生产环境中通过无监督异常评分来补充半监督检测,并监控分布漂移。

相关方法

参考文献

  1. Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.

    打开出版物文献
    已复制。
  2. Isolation Forest. Wikipedia.

    打开出版物文献
    已复制。