缺陷预测模型
- 提出者
- Thomas Ostrand, Elaine Weyuker, Robert Bell
- 年份
- 2005
- 类型
- machine learning model
- 类别
- Quality prediction
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
缺陷预测模型使用统计学或机器学习方法预测代码模块中出现软件故障的可能性。该方法由 Ostrand、Weyuker 和 Bell (2005) 开创,通过将代码度量(复杂度、变更量、耦合度)与历史缺陷数据相关联,来识别高风险组件。组织利用这些预测来分配测试资源、指导代码审查和优先处理重构工作。
方法背后的直觉
软件缺陷比其他模块更容易聚集在某些模块中。通过研究过去的故障和模块特性,可以发现一些模式:高变更量(频繁更改)、深度耦合和较高的复杂度通常预示着问题。模型学习这些模式以预测未来风险。早期识别有助于在有风险的领域进行主动的质量投入。
历史学
1970 年代至 1990 年代的早期缺陷预测研究使用简单度量的单变量统计检验。Ostrand、Weyuker 和 Bell (2005) 的工作引入了多变量机器学习方法,展示了实际的预测能力。后续研究改进了特征工程(代码变更量、社交度量)、探索了跨项目预测,并将缺陷预测整合到工业持续集成管道中。现代实践结合了静态度量、版本历史和测试覆盖率来进行集成预测。
何时使用
在测试能力有限且发布后检测缺陷成本高昂的大型开发组织中应用缺陷预测。适用于优先安排代码审查、分配测试自动化工作和规划发布周期。假设有足够多的历史项目数据(50 多个带有已知缺陷的模块);数据稀疏会降低预测性能。预测在项目内部转移方面效果最好;跨项目转移仍然具有挑战性。
局限与注意事项
- 预测是概率性的;单个模块的预测仍然不可靠,尤其是在低缺陷系统上
- 当预测与训练数据显著不同的新项目或领域时,模型性能会下降
- 历史数据中的缺陷定义和标记会引入系统性偏差,影响模型有效性
- 类别不平衡:大多数模块没有缺陷,这使得罕见缺陷的预测本身就具有挑战性
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在发布前实现主动的资源分配,降低缺陷逃逸率
- 使用客观、可衡量的代码度量,而非主观的审查者判断
- 可扩展至大型代码库;自动化识别高风险模块的速度比手动检查快
- 支持成本效益分析:预测何处投入测试能获得最高回报
应用
- 在安全关键型医疗设备软件中指导发布管理,识别需要部署前额外验证的模块
- 在 Web 应用程序中分配安全代码审查工作,通过代码度量和变更模式预测漏洞热点
- 在大型嵌入式系统中优化测试用例生成,因为全面测试不可行;将测试设计重点放在预测的高风险模块上
- 在初创公司环境中支持知情的招聘和团队构成决策,识别具有高缺陷密度需要高级开发人员关注的模块
使用方式
使用方式
收集历史项目数据,包括版本控制日志、缺陷跟踪记录、代码度量和跨多个发布的部署信息。
从原始数据中构建特征:代码复杂度度量、变更频率、作者经验、测试覆盖率、架构耦合度。平衡类别分布以处理倾斜的缺陷率。
计算特征与历史缺陷之间的相关性,以识别预测信号。应用特征选择以避免过拟合和降低维度。
训练机器学习分类器(逻辑回归、随机森林、支持向量机)或统计模型,以根据构建的特征预测新代码中的缺陷存在情况。
按预测的缺陷概率对模块进行排序。使用留出测试数据验证预测结果。向利益相关者传达不确定性和校准情况。
常见陷阱
- 将预测概率视为事实依据;将其用作决策的输入,而非最终裁决
- 忽略缺陷日志中的数据质量问题;标记错误或缺失的缺陷会破坏模型训练
- 盲目采用文献中的模型,而不根据本地组织环境和领域进行校准
- 忽视概念漂 drift:随着技术、开发实践和团队构成的发展,预测能力会下降
常见问题
构建准确的缺陷预测模型需要多少历史数据?
通常,至少需要 50-100 个带有已知缺陷标签的模块才能提供足够的训练数据。理想情况下,应使用跨多个发布的 200 多个模块来捕捉时间模式。更多数据可以提高性能,但边际效益递减;缺陷标签的质量比原始数据量更重要。
哪些代码度量对缺陷的预测性最强?
实证研究一致表明:代码复杂度(环形复杂度、McCabe)、代码行数(LOC)、变更频率(变更量)、耦合度和测试覆盖率是强预测因子。没有单一的度量占主导地位;结合多种度量的集成方法优于单一度量。领域特定的度量(例如,嵌入式系统中的嵌套深度)可以增加价值。
缺陷预测能否跨项目或编程语言工作?
跨项目和跨语言的预测仍然具有挑战性。在 Java 项目上训练的模型在 C++ 项目上通常会失败,因为特定于语言的度量含义和开发实践不同。迁移学习方法显示出希望,但需要仔细验证。项目内部的预测要可靠得多。
如何处理缺陷很少的严重不平衡数据?
使用分层抽样、SMOTE(合成少数类过采样)、损失函数中的类别加权以及集成方法(随机森林、梯度提升)等技术。使用 ROC-AUC 或精确率-召回率曲线而不是准确率进行评估;仅凭准确率在不平衡数据集上会产生误导。阈值调整允许调整精确率与召回率的权衡。
相关方法
参考文献
Ostrand, T. J., Weyuker, E. J., & Bell, R. M. (2005). Predicting the location and number of faults in large software systems. IEEE Transactions on Software Engineering, 31(4), 340–355.
打开 DOI 文献已复制。Nagappan, N., Ball, T., & Zeller, A. (2006). Mining metrics to predict component failures. In Proceedings of the 28th International Conference on Software Engineering (pp. 452–461).
打开 DOI 文献已复制。Menzies, T., Greenwald, J., & Russ, P. (2007). Problems with precision: A response to comments on 'Data mining static code attributes to learn defect predictors'. IEEE Transactions on Software Engineering, 33(9), 637–640.
打开 DOI 文献已复制。