Analisis Cakupan Kode
- Diperkenalkan oleh
- Test Coverage Community
- Tahun
- 1988
- Jenis
- measurement and analysis
- Keluarga
- Test measurement
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Analisis cakupan kode mengukur sejauh mana kode sumber dieksekusi oleh rangkaian pengujian, mengkuantifikasi baris, percabangan, atau jalur mana yang dilalui.
Alat menginstrumentasi kode untuk melacak eksekusi, melaporkan persentase cakupan, dan mengidentifikasi wilayah yang tidak teruji. Analisis cakupan memandu pembuatan pengujian, mendeteksi kode mati, dan memvalidasi kecukupan pengujian dalam proses penjaminan mutu.
Intuisi di balik metode
Sebuah rangkaian pengujian hanya menemukan bug dalam kode yang benar-benar dijalankannya. Cakupan menjawab: wilayah kode mana yang dilalui oleh rangkaian pengujian, dan mana yang tetap tidak teruji? Cakupan tinggi menunjukkan rangkaian pengujian memiliki jangkauan luas; cakupan rendah mengekspos celah di mana bug mungkin bersembunyi tanpa terdeteksi. Metrik cakupan memungkinkan tim untuk mengidentifikasi modul mana yang memerlukan pengujian yang lebih ketat.
Sejarah
Konsep cakupan kode muncul pada tahun 1970-an–1980-an seiring berkembangnya metodologi pengujian formal. Survei Zhu, Hall, dan May tahun 1997 memformalkan taksonomi kriteria cakupan (pernyataan, percabangan, jalur, aliran data). Alat awal memerlukan modifikasi kode sumber; instrumentasi modern (JaCoCo, Clover, Istanbul) beroperasi secara transparan. Cakupan menjadi standar dalam praktik DevOps, dengan coverage.py, Istanbul, dan layanan cloud seperti Codecov mengintegrasikan pelaporan otomatis. Perdebatan terus berlanjut apakah persentase cakupan mendorong peningkatan kualitas atau hanya menciptakan kepercayaan palsu.
Kapan digunakan
Terapkan analisis cakupan kode sebagai gerbang kualitas dalam pipeline integrasi berkelanjutan. Gunakan untuk mengidentifikasi kode mati, memandu prioritisasi kasus uji, dan memvalidasi kelengkapan pengujian sebelum rilis. Cakupan bekerja paling baik sebagai alat diagnostik daripada persyaratan yang ketat; ambang batas cakupan yang sangat tinggi dapat mendorong pengujian yang kontraproduktif. Ideal untuk sistem yang kritis terhadap keselamatan dan sangat andal di mana ketelitian adalah yang terpenting.
Batasan dan pertimbangan
- Cakupan tinggi tidak menjamin kualitas pengujian tinggi; cakupan baris yang luas dapat berdampingan dengan logika pernyataan yang lemah
- Metrik cakupan tidak mengukur efektivitas; mencakup baris dengan pengujian tidak ada gunanya jika pengujian tidak membuat pernyataan apa pun
- Jenis cakupan yang berbeda (baris, percabangan, jalur) mengukur hal yang berbeda; tidak ada metrik tunggal yang cukup untuk pemahaman yang komprehensif
- Ledakan cakupan jalur: cakupan jalur yang menyeluruh menjadi tidak mungkin dilakukan dalam program dengan banyak percabangan kondisional
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memberikan pengukuran objektif terhadap keluasan rangkaian pengujian yang independen dari penilaian kualitas pengujian subjektif
- Mengidentifikasi jalur kode yang tidak terpakai yang memenuhi syarat untuk dihapus, menyederhanakan pemeliharaan
- Terintegrasi secara mulus ke dalam pipeline build dan pengujian otomatis
- Mendukung keputusan yang terinformasi tentang investasi pengujian: modul mana yang memerlukan pengujian lebih dalam
Penerapan
- Mengidentifikasi kode mati dalam sistem keuangan warisan berusia 10 tahun dengan jutaan baris, memungkinkan penghapusan yang aman dan mengurangi beban kognitif selama pemeliharaan
- Memvalidasi kelengkapan rangkaian pengujian dalam perangkat lunak perawatan kesehatan kritis di mana kepatuhan peraturan memerlukan bukti pengujian menyeluruh sebelum penerapan
- Mendeteksi jalur penanganan kesalahan yang belum dimanfaatkan dalam perangkat lunak infrastruktur telekomunikasi dengan meninjau penangan pengecualian yang tidak tercakup yang mungkin menyembunyikan kegagalan senyap
- Memprioritaskan upaya pengujian dalam pengembangan game dengan mengidentifikasi mekanisme gameplay yang jarang dieksekusi dan kasus tepi dalam kode simulasi fisika game
Cara kerjanya
Cara kerjanya
Instrumentasi kode sumber dengan probe yang merekam peristiwa eksekusi. Dapatkan rangkaian pengujian dan sistem yang diuji (SUT).
Kompilasi atau transformasikan kode untuk menyertakan instrumentasi yang melacak pernyataan, percabangan, atau jalur mana yang dieksekusi selama eksekusi pengujian.
Jalankan rangkaian pengujian terhadap kode yang terinstrumentasi, merekam elemen program mana yang dicakup. Kumpulkan jejak eksekusi dan data cakupan.
Agregasikan metrik cakupan pada berbagai tingkatan: cakupan baris, cakupan percabangan, cakupan jalur, cakupan metode. Hitung persentase cakupan dan identifikasi wilayah kode yang tidak tersentuh.
Visualisasikan kode yang tidak tercakup, analisis celah cakupan, dan hasilkan rekomendasi untuk kasus uji tambahan yang menargetkan lubang cakupan.
Kesalahan umum
- Mengejar target persentase cakupan (misalnya, 80%) tanpa memperhatikan kualitas pengujian; pengujian yang mencari cakupan seringkali lemah
- Mengabaikan bahwa mencapai cakupan 100% seringkali tidak mungkin dilakukan dan tidak hemat biaya dalam sistem besar
- Memperlakukan cakupan sebagai jaminan kebenaran; cakupan tinggi dan pengujian yang lulus tidak memastikan ketiadaan cacat logika
- Menggunakan cakupan saja untuk mengevaluasi kompetensi pengembang; tekanan untuk mencapai cakupan mengarah pada manipulasi (pengujian sepele yang tidak menambah nilai)
Pertanyaan yang sering diajukan
Apa perbedaan antara cakupan pernyataan, percabangan, dan jalur?
Cakupan pernyataan mengukur apakah setiap baris dieksekusi; setiap pernyataan dikunjungi setidaknya sekali. Cakupan percabangan mengharuskan setiap kondisi (if, switch) mengevaluasi benar dan salah. Cakupan jalur memastikan semua urutan eksekusi yang berbeda dijalankan. Cakupan jalur adalah yang terkuat tetapi seringkali tidak mungkin; cakupan percabangan menawarkan keseimbangan praktis.
Apakah cakupan 100% merupakan tujuan yang realistis atau diinginkan?
Mencapai cakupan 100% jarang hemat biaya. Sistem biasanya mencapai cakupan 75–90%; 10–25% terakhir sering melibatkan penangan kesalahan yang jarang dieksekusi, kode warisan, atau integrasi pihak ketiga. Pengembalian yang semakin berkurang berlaku: upaya untuk mencapai 100% seringkali melebihi manfaat marjinal. Targetkan cakupan 75–85% untuk sebagian besar proyek; 90%+ untuk sistem yang kritis terhadap keselamatan.
Bagaimana cakupan tinggi dapat berdampingan dengan tingkat cacat tinggi dalam beberapa proyek?
Cakupan mengukur keluasan (jalur kode yang dieksekusi), bukan kedalaman (kualitas pernyataan). Pengujian dapat mencakup baris tanpa menyatakan hasil yang benar. Cakupan tinggi dengan pernyataan yang lemah menciptakan kepercayaan palsu. Fokus pada desain pengujian yang bermakna bersama dengan tujuan cakupan.
Bagaimana cara mengatasi celah cakupan dalam pustaka pihak ketiga atau kode yang dihasilkan?
Kecualikan kode pihak ketiga dan kode yang dihasilkan dari metrik cakupan menggunakan konfigurasi (misalnya, aturan pengecualian JaCoCo). Fokus pada kode aplikasi yang Anda kontrol. Beberapa tim menetapkan ambang batas cakupan terpisah untuk kode yang dihasilkan (misalnya, 40%) vs. logika yang ditulis tangan (misalnya, 80%) untuk mencerminkan ekspektasi yang realistis.
Metode terkait
Sumber
Zhu, H., Hall, P. A. V., & May, J. H. R. (1997). Software unit test coverage and adequacy. ACM Computing Surveys, 29(4), 366–427.
Buka referensi DOIDisalin.Frankl, P. G., & Weiss, S. N. (1988). An experimental comparison of the effectiveness of branch testing and data flow testing. IEEE Transactions on Software Engineering, 14(12), 1763–1773.
Buka referensi publikasiDisalin.Corbet, J. (2008). Code coverage for the Linux kernel. Linux Weekly News article.
Buka referensi publikasiDisalin.