主动学习孤立森林
- 提出者
- Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
- 年份
- 2008–2019
- 类型
- Active learning wrapper over isolation forest anomaly detector
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
主动学习孤立森林将孤立森林的无监督异常评分能力与一种迭代查询策略相结合,该策略要求人类专家标记最具信息量的实例。其结果是一种探测器,它使用最少的标记预算来精炼其异常边界,与纯粹的无监督基线相比,在罕见和细微的异常方面显著提高了精度。
方法背后的直觉
孤立森林通过实例在随机树中被隔离的速度来对其进行异常评分,但如果没有领域知识,它无法区分真正的危险异常和无害的离群值。主动学习引入了“人在回路”机制:在森林对所有实例进行评分后,它会选择最模棱两可或得分最高的实例,并要求专家确认或拒绝每个异常标签。通过每个确认的标签,模型可以重新加权或重新排序未来的分数。经过几轮反馈,即使是少量的标记示例也能引导探测器避开误报,转向真正感兴趣的异常。
历史学
孤立森林由 Liu、Ting 和 Zhou 于 2008 年在 ICDM 上提出,它是一种快速、可扩展且假设较少的异常检测器,它隔离异常而不是对正常行为进行建模。主动学习从 2010 年中期开始系统地应用于异常检测。Das 及其同事(ICDM 2019)正式化了一个主动异常发现框架,该框架明确地将包括孤立森林在内的集成评分器与迭代专家反馈相结合,表明少量标签可以媲美在数百个示例上训练的完全监督的检测器。此后,该方法已应用于欺诈、入侵检测和传感器分析。
何时使用
当您面临无标记或大部分是无标记的表格数据上的异常检测任务,并且可以负担少量专家标记(通常在几轮中进行10-100次查询)时,请使用主动学习孤立森林。它特别适用于网络安全、欺诈检测、预测性维护和临床离群值识别等领域,在这些领域中,误报的成本很高,并且领域专家可以可靠地判断一个实例。
局限与注意事项
- 需要一个可靠且可用的预言家;如果专家标签有噪声或不一致,反馈可能会降低模型性能。
- 查询策略假设对每一轮的整个池进行评分是可行的,这对于非常大的数据集来说可能成本高昂。
- 与简单的孤立森林相比,该方法更难复现和审计,因为最终模型取决于所选查询和提供的标签。
- 概念漂移——即异常的性质随时间变化——不会被自动处理,可能需要重新初始化主动循环。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 利用孤立森林的可扩展性和可解释性,同时以最少的标记工作量注入专家知识。
- 与完全无监督的基线相比,显著提高了精度,在高风险领域减少了昂贵的误报。
- 模型无关的查询策略(不确定性、top-k、多样性)可以适应任何异常评分器,不仅仅是孤立森林。
- 在异常极其罕见且监督学习需要大量标记数据集的类别不平衡设置中效果良好。
- 每轮查询都能提供可衡量的即时改进,使进展对利益相关者透明。
应用
- 网络入侵和网络安全警报分类,分析师每班标记少量可疑连接。
- 信用卡欺诈检测,定期由分析师审查标记的交易。
- 制造业中的预测性维护,从传感器流中识别罕见的机器故障,而故障记录有限。
- 电子健康记录中的临床离群值检测,由临床医生确认异常的患者特征。
- 科学数据质量控制,标记由领域科学家审查的实验数据集中的仪器错误。
使用方式
使用方式
首先,在所有可用的未标记数据上训练一个孤立森林。每个实例根据随机递归分区将其隔离的速度获得一个异常分数:位于稀疏、易于隔离区域的实例获得高分。此无监督过程为主动学习循环提供了一个有意义的初始排序。
对所有未标记的池实例按其异常分数进行排序。查询策略——例如选择得分最高的k个实例,或得分落在不确定边界区域的实例——识别出哪些实例的预言家标签将最具信息量。
选择的实例呈现给领域专家(或实验中的模拟预言家),由其将每个实例标记为异常或正常。每轮只需要少量查询,这使得该方法在标记成本高昂或需要专家判断时非常实用。
将新标记的实例整合到模型中。这可能意味着重新加权与其路径与已确认异常一致的集成成员,微调路径长度阈值,或使用添加的标记集作为监督约束进行重新训练。重新计算剩余池的分数排名。
查询-标记-更新循环重复固定轮数,或直到标记预算用尽。最终的探测器既反映了原始无监督森林捕获的广泛结构,也反映了通过标记反馈编码的专家知识,从而产生一个针对特定领域的、高精度的异常排序器。
常见陷阱
- 仅查询异常分数最高的实例可能导致确认偏差,使模型错过最初看起来正常的、新颖的异常类型。
- 仅在查询的实例上报告性能,而不是在保留的测试集上报告,这会夸大精度估计。
- 将预言家标签视为真实情况,而不考虑评分者之间的一致性,尤其是在医疗或安全领域。
- 忘记在反馈后重新评估整个无监督森林;过时的分数可能导致后续查询轮效率低下。
常见问题
通常需要多少标记实例才能获得有意义的改进?
研究表明,在预言家标签可靠的情况下,通常只需要 10 到 50 个专家标签,分布在 3 到 5 轮反馈中,就足以在精度上显著优于纯粹的无监督孤立森林。
基础孤立森林在每轮之后都需要从头开始重新训练吗?
不一定。许多实现会重新加权或重新排序现有的树路径,而无需完全重新训练,这在计算上效率很高。当标记集足够大以证明其合理性时,可以使用带有标签约束的完全重新训练。
哪种查询策略最适合异常检测?
得分最高的k个实例(选择得分最高的未标记实例)简单有效,尤其是在异常罕见的情况下。当异常边界不明确时,基于不确定性或边距的策略会有所帮助。考虑多样性的策略可以减少查询之间的冗余。
该方法可以处理流式或在线数据吗?
标准的孤立森林是一种批处理方法,因此主动学习的扩展也倾向于批处理。对于流式设置,需要在应用主动反馈之前使用孤立森林的在线或滑动窗口变体。
鉴于只有少数实例被标记,我该如何公平地评估模型?
保留一个独立的、已标记的测试集,该测试集从不用于查询。在每一轮中,在此数据集上评估精度、召回率和 AUCROC,以跟踪真实的改进,而不是对查询标签进行过拟合。
相关方法
参考文献
Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.
打开出版物文献已复制。Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.
打开 DOI 文献已复制。