Skip to content
検索結果に戻る

コードカバレッジ分析

提唱者
Test Coverage Community
年
1988
種類
measurement and analysis
系統
Test measurement

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

コードカバレッジ分析は、テストスイートによってソースコードが実行される範囲を測定し、どの行、分岐、またはパスが実行されたかを定量化します。ツールは実行を追跡するためにコードをインストルメント化し、カバレッジ率を報告して、テストされていない領域を特定します。カバレッジ分析は、テスト作成の指針となり、デッドコードを検出し、品質保証プロセスにおけるテストの妥当性を検証します。

手法の背後にある直感

テストスイートは、実際に実行されるコード内のバグしか発見できません。カバレッジは、テストスイートがどのコード領域を実行し、どの領域がテストされていないかを明らかにします。高いカバレッジはテストスイートが広範囲に及んでいることを示唆し、低いカバレッジはバグが検出されずに潜んでいる可能性のあるギャップを露出させます。カバレッジメトリクスにより、チームはどのモジュールがより厳密なテストを必要とするかを特定できます。

歴史学

コードカバレッジの概念は、正式なテスト方法論が開発された1970年代から1980年代にかけて出現しました。Zhu、Hall、Mayによる1997年の調査は、カバレッジ基準の分類法(ステートメント、分岐、パス、データフロー)を形式化しました。初期のツールはソースコードの変更を必要としましたが、最新のインストルメンテーション(JaCoCo、Clover、Istanbul)は透過的に動作します。カバレッジはDevOpsプラクティスで標準となり、coverage.py、Istanbul、およびCodecovのようなクラウドサービスが自動レポートを統合しています。カバレッジ率が品質向上を促進するのか、それとも単に誤った自信を生み出すだけなのかについての議論は続いています。

使うべき場面

継続的インテグレーションパイプラインで品質ゲートとしてコードカバレッジ分析を適用します。デッドコードの特定、テストケースの優先順位付けの指針、リリース前のテスト完了の検証に使用します。カバレッジは厳密な要件よりも診断ツールとして機能する場合に最も効果的です。極端に高いカバレッジしきい値は、非生産的なテストを助長する可能性があります。徹底性が最重要視される安全クリティカルおよび高信頼性システムに最適です。

限界と注意点

  • 高いカバレッジは高いテスト品質を保証しません。広範な行カバレッジは、弱いアサーションロジックと共存できます
  • カバレッジメトリクスは有効性を測定しません。テストがアサーションを行わない場合、行をカバーすることは無価値です
  • 異なるカバレッジタイプ(行、分岐、パス)は異なるものを測定します。包括的な理解には単一のメトリクスでは不十分です
  • パスカバレッジの爆発:多数の条件分岐を持つプログラムでは、網羅的なパスカバレッジは非現実的になります

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 主観的なテスト品質評価に依存しない、テストスイートの広さの客観的な測定を提供します
  • 保守を簡素化する、削除対象の未使用コードパスを特定します
  • 自動化されたビルドおよびテストパイプラインにシームレスに統合します
  • テスト投資に関する情報に基づいた意思決定をサポートします。どのモジュールがより深いテストを必要とするか

応用

  • 保守中の認知負荷を軽減し、安全な削除を可能にする、10年古いレガシー金融システムにおけるデッドコードの特定
  • 規制遵守が展開前の徹底的なテストの証拠を要求する、クリティカルなヘルスケアソフトウェアにおけるテストスイートの網羅性の検証
  • サイレント障害をマスクする可能性のある、カバーされていない例外ハンドラをレビューすることにより、通信インフラストラクチャソフトウェアにおける未開拓のエラー処理パスの検出
  • ゲーム開発におけるテスト作業の優先順位付け。めったに実行されないゲームプレイメカニクスとゲーム物理シミュレーションコードのエッジケースの特定

使い方

使い方

1

プローブをソースコードにインストルメント化して、実行イベントを記録します。テストスイートとテスト対象システム(SUT)を取得します。

2

テスト実行中にどのステートメント、分岐、またはパスが実行されたかを追跡するインストルメンテーションをコードに含めるようにコンパイルまたは変換します。

3

インストルメント化されたコードに対してテストスイートを実行し、どのプログラム要素がカバーされたかを記録します。実行トレースとカバレッジデータを収集します。

4

複数のレベル(行カバレッジ、分岐カバレッジ、パスカバレッジ、メソッドカバレッジ)でカバレッジメトリクスを集計します。カバレッジ率を計算し、未タッチのコード領域を特定します。

5

カバーされていないコードを視覚化し、カバレッジギャップを分析し、カバレッジホールを対象とする追加テストケースの推奨事項を生成します。

よくある落とし穴

  • テスト品質に注意を払わずにカバレッジ率の目標(例:80%)を追求すること。カバレッジを求めるテストはしばしば弱いです
  • 大規模システムでは100%カバレッジの達成が非現実的かつ費用対効果が低いことを無視すること
  • カバレッジを正しさの保証として扱うこと。高いカバレッジと合格したテストは、論理的欠陥の不在を保証しません
  • 開発者の能力を評価するためにカバレッジのみを使用すること。カバレッジ達成への圧力は、ゲーム化(価値のない些細なテスト)につながります

よくある質問

ステートメント、分岐、パスカバレッジの違いは何ですか?

ステートメントカバレッジは、各行が実行されたかどうかを測定します。すべてのステートメントが少なくとも1回は実行されます。分岐カバレッジは、各条件(if、switch)が真と偽の両方を評価することを要求します。パスカバレッジは、すべての異なる実行シーケンスが実行されることを保証します。パスカバレッジは最も強力ですが、しばしば非現実的です。分岐カバレッジは実用的なバランスを提供します。

100%カバレッジは現実的または望ましい目標ですか?

100%カバレッジの達成は、ほとんどの場合、費用対効果が高くありません。システムは通常75〜90%のカバレッジに達します。最後の10〜25%は、めったに実行されないエラーハンドラ、レガシーコード、またはサードパーティの統合を含むことがよくあります。収穫逓減が適用されます。100%に達するための労力は、しばしば限界利益を超えます。ほとんどのプロジェクトでは75〜85%のカバレッジを目標とし、安全クリティカルシステムでは90%以上を目標とします。

一部のプロジェクトで、高いカバレッジが多くの欠陥率と共存するのはなぜですか?

カバレッジは広さ(実行されたコードパス)を測定し、深さ(アサーションの品質)を測定しません。テストは、正しい結果をアサートせずに、行をカバーすることができます。弱いアサーションを伴う高いカバレッジは、誤った自信を生み出します。カバレッジ目標と並行して、意味のあるテスト設計に焦点を当てます。

サードパーティライブラリまたは生成されたコードのカバレッジギャップにどのように対処しますか?

設定(例:JaCoCo除外ルール)を使用して、カバレッジメトリクスからサードパーティおよび生成されたコードを除外します。あなたが制御するアプリケーションコードに焦点を当てます。一部のチームは、生成されたコード(例:40%)と手書きロジック(例:80%)で別々のカバレッジしきい値を設定して、現実的な期待を反映させます。

関連する手法

参考文献

  1. Zhu, H., Hall, P. A. V., & May, J. H. R. (1997). Software unit test coverage and adequacy. ACM Computing Surveys, 29(4), 366–427.

    DOI 文献を開く
    コピーしました。
  2. Frankl, P. G., & Weiss, S. N. (1988). An experimental comparison of the effectiveness of branch testing and data flow testing. IEEE Transactions on Software Engineering, 14(12), 1763–1773.

    出版物の文献を開く
    コピーしました。
  3. Corbet, J. (2008). Code coverage for the Linux kernel. Linux Weekly News article.

    出版物の文献を開く
    コピーしました。