Skip to content
返回搜索结果

代码覆盖率分析

提出者
Test Coverage Community
年份
1988
类型
measurement and analysis
类别
Test measurement

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

代码覆盖率分析衡量测试套件执行源代码的程度,量化了哪些行、分支或路径被执行。工具通过instrumentation(插桩)来跟踪执行,报告覆盖率百分比并识别未测试的区域。覆盖率分析指导测试创建,检测死代码,并在质量保证过程中验证测试的充分性。

方法背后的直觉

测试套件只能发现其实际运行的代码中的缺陷。覆盖率回答:测试套件执行了哪些代码区域,哪些区域仍未被测试?高覆盖率表明测试套件具有广泛的覆盖范围;低覆盖率暴露了可能潜藏未检测到的缺陷的区域。覆盖率指标使团队能够识别哪些模块需要更严格的测试。

历史学

代码覆盖率概念出现在20世纪70年代至80年代,随着正式测试方法学的发展而出现。Zhu、Hall和May在1997年的调查中正式化了覆盖率标准分类(语句、分支、路径、数据流)。早期工具需要修改源代码;现代插桩(JaCoCo、Clover、Istanbul)则透明操作。覆盖率已成为DevOps实践的标准,coverage.py、Istanbul以及Codecov等云服务集成了自动化报告。关于覆盖率百分比是推动质量改进还是仅仅制造虚假信心的争论仍在继续。

何时使用

将代码覆盖率分析作为持续集成流水线中的质量门。用于识别死代码,指导测试用例优先级排序,并在发布前验证测试的完整性。覆盖率作为诊断工具而非严格要求效果最佳;极高的覆盖率阈值可能导致适得其反的测试。适用于安全关键型和高可靠性系统,在这些系统中彻底性至关重要。

局限与注意事项

  • 高覆盖率不保证高测试质量;广泛的行覆盖率可能与薄弱的断言逻辑并存
  • 覆盖率指标不衡量有效性;用测试覆盖一行代码,如果测试没有做出任何断言,则毫无价值
  • 不同的覆盖率类型(行、分支、路径)衡量不同的事物;没有单一指标足以提供全面的理解
  • 路径覆盖率爆炸:在具有许多条件分支的程序中,穷尽的路径覆盖变得不可行

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 提供对测试套件广度的客观测量,独立于主观的测试质量评估
  • 识别可移除的未使用的代码路径,简化维护
  • 无缝集成到自动化构建和测试流水线中
  • 支持关于测试投资的明智决策:哪些模块需要更深入的测试

应用

  • 在拥有数百万行代码的10年老旧金融遗留系统中识别死代码,从而能够安全移除并减少维护期间的认知负荷
  • 在关键的医疗保健软件中验证测试套件的完整性,其中法规遵从性要求在部署前有彻底测试的证据
  • 通过审查未覆盖的异常处理程序(可能掩盖静默故障)来检测电信基础设施软件中未被利用的错误处理路径
  • 通过识别游戏中很少执行的游戏机制和游戏物理模拟代码中的边缘情况,来确定游戏开发中测试工作的优先级

使用方式

使用方式

1

使用探针(probes)插桩源代码以记录执行事件。获取测试套件和被测系统(SUT)。

2

编译或转换代码以包含插桩,跟踪在测试运行期间哪些语句、分支或路径被执行。

3

针对插桩代码执行测试套件,记录哪些程序元素被覆盖。收集执行轨迹和覆盖率数据。

4

在多个级别聚合覆盖率指标:行覆盖率、分支覆盖率、路径覆盖率、方法覆盖率。计算覆盖率百分比并识别未触及的代码区域。

5

可视化未覆盖的代码,分析覆盖率缺口,并为针对覆盖率盲区的附加测试用例生成建议。

常见陷阱

  • 追求覆盖率百分比目标(例如,80%)而不关注测试质量;追求覆盖率的测试通常很薄弱
  • 忽略了在大型系统中实现100%覆盖率通常是不可行且不具成本效益的
  • 将覆盖率视为正确性的保证;高覆盖率和通过的测试不能确保逻辑缺陷的缺失
  • 仅使用覆盖率来评估开发人员的能力;追求覆盖率的压力会导致“应试”(有价值的测试很少)

常见问题

语句覆盖率、分支覆盖率和路径覆盖率之间有什么区别?

语句覆盖率衡量每行是否执行;每个语句至少访问一次。分支覆盖率要求每个条件(if、switch)都评估真和假。路径覆盖率确保所有不同的执行序列都运行。路径覆盖率最强但通常不可行;分支覆盖率提供了实际的平衡。

100%覆盖率是现实或可取的吗?

实现100%覆盖率很少具有成本效益。系统通常达到75%–90%的覆盖率;最后的10%–25%通常涉及很少执行的错误处理程序、遗留代码或第三方集成。边际效益递减:达到100%的努力通常超过边际收益。大多数项目目标覆盖率在75%–85%;安全关键系统目标覆盖率在90%以上。

为什么在某些项目中高覆盖率与高缺陷率并存?

覆盖率衡量广度(执行的代码路径),而非深度(断言的质量)。一个测试可以覆盖一行代码,但并未断言正确的结果。高覆盖率伴随薄弱的断言会产生虚假信心。在追求覆盖率目标的同时,注重有意义的测试设计。

如何处理第三方库或生成代码中的覆盖率缺口?

使用配置(例如,JaCoCo排除规则)将第三方和生成代码从覆盖率指标中排除。专注于您控制的应用程序代码。一些团队为生成代码(例如,40%)和手工编写的逻辑(例如,80%)设置不同的覆盖率阈值,以反映实际期望。

相关方法

参考文献

  1. Zhu, H., Hall, P. A. V., & May, J. H. R. (1997). Software unit test coverage and adequacy. ACM Computing Surveys, 29(4), 366–427.

    打开 DOI 文献
    已复制。
  2. Frankl, P. G., & Weiss, S. N. (1988). An experimental comparison of the effectiveness of branch testing and data flow testing. IEEE Transactions on Software Engineering, 14(12), 1763–1773.

    打开出版物文献
    已复制。
  3. Corbet, J. (2008). Code coverage for the Linux kernel. Linux Weekly News article.

    打开出版物文献
    已复制。