半监督关联规则
- 提出者
- Liu, B.; Hsu, W.; Ma, Y. (and subsequent researchers)
- 年份
- 2003–2010s
- 类型
- Pattern mining with partial supervision
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督关联规则挖掘通过结合少量标记数据和大量未标记数据,扩展了经典的关联规则学习。它利用已知的类别信息或用户提供的约束来指导发现既统计频繁又具有语义意义的规则,从而将无监督模式挖掘与轻度监督相结合。
方法背后的直觉
标准关联规则挖掘在没有任何重要性概念的情况下,找到所有频繁共现模式。半监督关联规则通过允许一小部分标记示例或领域约束来引导搜索,从而改变了这一点:与统计上频繁但无意义的规则相比,与已知类别结构一致的规则更受青睐。可以将其视为给算法一些关于分析师关心什么的提示,使其停止显示琐碎或已知的模式,而是突出真正新颖、可操作的关系。结果结合了无监督模式发现的广度以及足以保持结果相关的指导。
历史学
关联规则挖掘由 Agrawal、Imielinski 和 Swami 于 1993 年通过引入 Apriori 算法正式化,目标是在市场篮子数据中无监督地发现频繁项集。类别标签和约束集成到关联规则挖掘中在 2000 年代初获得动力,特别是通过 Liu 及其同事的 CMAR 和 CBA 框架,它们将类别标签视为规则的后件。当研究人员认识到部分监督可以减少候选规则的组合爆炸,同时保持未标记数据的统计贡献时,半监督扩展出现了。该方法现在出现在生物信息学、教育数据挖掘和推荐系统中。
何时使用
当您拥有大型事务性或表格数据集,其中只有一小部分带有类别标签或领域注释,并且您需要发现与目标概念真正相关而非仅仅频繁的共现模式时,请使用半监督关联规则挖掘。它非常适合具有某些已知购买结果的市场篮子分析、只有一部分病例具有确诊诊断的医疗记录挖掘以及标记文档稀缺的文本分类。当标记部分微不足道(少于几十个标记实例)、完全监督可行,或可解释性要求需要更简单的模型(如逻辑回归或决策树)时,请避免使用它。
局限与注意事项
- 规则质量在很大程度上取决于标记种子集的质量和代表性;有偏见的标记子集会将偏差传播到发现的规则中。
- 支持度、置信度和约束阈值的组合创建了一个大的超参数空间,如果没有标记的验证数据很难调整。
- 计算成本随着候选项集数量的增加而增加;具有非常高维项空间的数据集需要激进的修剪策略。
- 自训练循环可能会放大早期错误,如果初始伪标签有噪声,会导致迭代过程中规则漂移。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 利用丰富的未标记数据来发现仅凭标记数据在统计上不可见的模式。
- 来自标签的约束可以修剪不相关的规则,从而产生比纯无监督挖掘更小、更具可操作性的规则集。
- 规则 IF-THEN 语句仍然是人类可读的,保留了经典关联规则学习的可解释性优势。
- 自训练改进可以通过额外的标记成本迭代地提高规则质量和伪标签覆盖率。
- 灵活:约束可以编码简单的类别标签以外的领域知识(例如,时间顺序、项层次结构)。
应用
- 医疗记录挖掘,其中只有一部分患者记录带有确诊诊断。
- 市场篮子分析,以一部分已知的高价值购买结果为指导。
- 教育数据挖掘,以发现与一小部分标记的学生表现结果相关的学习行为模式。
- 文本挖掘和文档分类,标记语料库稀缺。
- 入侵检测,其中只有一小部分网络事件被确认为攻击。
- 推荐系统,使用稀疏的用户评分来约束项共现规则。
使用方式
使用方式
数据集被分为一小部分标记数据(具有已知的类别标签或用户指定的约束)和一大块未标记数据。标记示例充当定义目标概念空间的种子或锚点,而未标记的事务提供计算可靠支持计数所需的统计量。
使用经典的算法(如 Apriori 或 FP-Growth)在标记和未标记数据上运行频繁项集枚举,将支持度计算为包含给定项集的事务的比例。仅保留超过最小支持度阈值的项集作为规则生成的候选。
公式
\text{support}(X) = \frac{|\{t \in D : X \subseteq t\}|}{|D|} \geq \text{min\_sup}将标签派生或用户指定的约束应用于修剪候选空间。约束可以采取必须链接(两个项应与目标类别一起出现在结果中)、不能链接(排除某些组合)或限制哪些规则涉及目标结果的类别标签过滤器的形式。这大大减少了虚假或冗余规则的数量。
从剩余的频繁项集中生成有效的规则 X 蕴含 Y,并按最小置信度阈值进行过滤。置信度衡量给定 X 时 Y 出现的条件概率。在半监督设置中,结果与标记类别或约束一致的规则被优先考虑或加权更高。
公式
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}发现的规则可以迭代地用于为先前未标记的事务分配伪标签,然后将这些伪标签反馈到后续的挖掘轮次中。这种自训练循环逐渐丰富了标记池并锐化了规则集,当没有发现新的高置信度规则或达到预定义的迭代限制时收敛。
常见陷阱
- 将最小支持度设置得太低而没有约束,会用平凡频繁但无信息量的规则淹没结果。
- 忽略标记种子集中的类别不平衡,这会导致约束过滤器在发现的规则中过度代表多数类别。
- 将置信度视为唯一的有趣性度量,而忽略了更具实际用途的高提升度或确信度规则。
- 跳过对规则预测质量的保留评估,并在没有对未见数据进行验证的情况下接受挖掘的规则。
- 在报告结果时,将关联(共现)与因果关系混淆。
常见问题
这与标准关联规则挖掘有何不同?
标准关联规则挖掘是完全无监督的:它在支持度和置信度阈值之上找到所有共现模式,而没有任何目标类别的概念。半监督关联规则结合了部分标签信息或领域约束,以过滤和优先处理与特定结果相关的规则,从而产生更小、更具可操作性的结果集。
需要多少标记数据?
即使是少量标记数据也能提供有用的约束,但种子集的质量比数量更重要。在实践中,建议每个类别至少有几十个标记示例,以避免严重的偏差约束。如果标签非常稀疏,应在保留的标记子集上仔细验证结果。
我应该为支持度和置信度设置什么阈值?
没有普遍的答案:阈值取决于数据集大小、领域以及您可以实际评估的规则数量。从中等阈值开始(例如,支持度 0.05–0.10,置信度 0.60–0.80),检查结果规则数量,然后进行调整。当约束生效时,您通常可以承受稍低的最小支持度阈值,因为不相关的规则会被标签条件过滤掉。
此方法可以处理连续或数值特征吗?
关联规则挖掘原生操作于离散项。连续特征必须在挖掘前离散化为分箱。分箱策略的选择会影响哪些项集变得频繁,因此值得尝试等宽、等频和领域驱动的分箱,并检查结果对选择的敏感性。
如何评估发现规则的质量?
除了支持度和置信度,还可以使用提升度(值大于 1 表示超出机会的真正共现)、确信度和杠杆率来评估规则。如果规则用于预测,请在保留的标记集上测量分类准确率、F1 或 AUC。仅有趣的度量不足以评估实际效用。