Skip to content
กลับไปยังผลการค้นหา

การวิเคราะห์ความครอบคลุมของโค้ด

ผู้เสนอ
Test Coverage Community
ปี
1988
ประเภท
measurement and analysis
กลุ่มวิธี
Test measurement

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การวิเคราะห์ความครอบคลุมของโค้ด (Code Coverage Analysis) เป็นการวัดขอบเขตที่ซอร์สโค้ดถูกเรียกใช้งานโดยชุดทดสอบ ซึ่งเป็นการวัดปริมาณว่าบรรทัด (lines), เงื่อนไข (branches), หรือเส้นทางการทำงาน (paths) ใดบ้างที่ถูกทดสอบ เครื่องมือจะทำการปรับแต่งโค้ด (instrumentation) เพื่อติดตามการทำงาน และรายงานผลเป็นเปอร์เซ็นต์ความครอบคลุม พร้อมทั้งระบุส่วนของโค้ดที่ยังไม่ถูกทดสอบ การวิเคราะห์ความครอบคลุมช่วยในการสร้างชุดทดสอบ ตรวจจับโค้ดที่ไม่ได้ใช้งาน (dead code) และยืนยันความเพียงพอของชุดทดสอบในกระบวนการประกันคุณภาพ

แนวคิดเบื้องหลังวิธีการ

ชุดทดสอบสามารถตรวจพบข้อผิดพลาดได้เฉพาะในโค้ดที่ถูกเรียกใช้งานเท่านั้น ความครอบคลุมของโค้ดช่วยตอบคำถามว่า: ชุดทดสอบได้เรียกใช้งานส่วนใดของโค้ดบ้าง และส่วนใดที่ยังคงไม่ถูกทดสอบ? ความครอบคลุมสูงบ่งชี้ว่าชุดทดสอบมีความครอบคลุมในวงกว้าง ในขณะที่ความครอบคลุมต่ำจะเผยให้เห็นช่องว่างที่อาจมีข้อผิดพลาดซ่อนอยู่โดยไม่ถูกตรวจพบ ตัวชี้วัดความครอบคลุมช่วยให้ทีมสามารถระบุได้ว่าโมดูลใดต้องการการทดสอบที่เข้มงวดมากขึ้น

ประวัติศาสตร์

แนวคิดเรื่องความครอบคลุมของโค้ดเกิดขึ้นในช่วงทศวรรษ 1970–1980 พร้อมกับการพัฒนาวิธีการทดสอบอย่างเป็นทางการ การสำรวจของ Zhu, Hall และ May ในปี 1997 ได้จัดหมวดหมู่เกณฑ์ความครอบคลุม (statement, branch, path, data flow) อย่างเป็นระบบ เครื่องมือยุคแรกต้องการการปรับเปลี่ยนซอร์สโค้ด การปรับแต่งที่ทันสมัย (JaCoCo, Clover, Istanbul) ทำงานโดยไม่เปิดเผยตัวตน ความครอบคลุมได้กลายเป็นมาตรฐานในแนวทางปฏิบัติ DevOps โดยมี coverage.py, Istanbul และบริการคลาวด์ เช่น Codecov ที่รวมการรายงานอัตโนมัติ การถกเถียงยังคงดำเนินต่อไปว่าเปอร์เซ็นต์ความครอบคลุมผลักดันการปรับปรุงคุณภาพ หรือเพียงแค่สร้างความมั่นใจที่ผิดๆ

ควรใช้เมื่อใด

นำการวิเคราะห์ความครอบคลุมของโค้ดมาใช้เป็นเกณฑ์คุณภาพ (quality gate) ในไปป์ไลน์การรวมระบบอย่างต่อเนื่อง (continuous integration) ใช้เพื่อระบุโค้ดที่ไม่ได้ใช้งาน (dead code) กำหนดลำดับความสำคัญของการทดสอบ และยืนยันความสมบูรณ์ของการทดสอบก่อนการปล่อยซอฟต์แวร์ การวิเคราะห์ความครอบคลุมจะทำงานได้ดีที่สุดในฐานะเครื่องมือวินิจฉัยมากกว่าข้อกำหนดที่เข้มงวด การตั้งเป้าหมายความครอบคลุมที่สูงเกินไปอาจส่งเสริมการทดสอบที่ส่งผลเสีย เหมาะอย่างยิ่งสำหรับระบบที่มีความสำคัญต่อความปลอดภัย (safety-critical) และมีความน่าเชื่อถือสูง ซึ่งความละเอียดถี่ถ้วนเป็นสิ่งสำคัญสูงสุด

ข้อจำกัดและข้อควรพิจารณา

  • ความครอบคลุมสูงไม่ได้เป็นการรับประกันคุณภาพการทดสอบสูง ความครอบคลุมของบรรทัดที่กว้างขวางสามารถอยู่ร่วมกับการมีตรรกะการยืนยัน (assertion logic) ที่อ่อนแอได้
  • ตัวชี้วัดความครอบคลุมไม่ได้วัดประสิทธิภาพ การครอบคลุมบรรทัดด้วยการทดสอบนั้นไร้ประโยชน์หากการทดสอบนั้นไม่มีการยืนยัน (assertion)
  • ประเภทความครอบคลุมที่แตกต่างกัน (บรรทัด, เงื่อนไข, เส้นทาง) วัดสิ่งต่างๆ ที่แตกต่างกัน ไม่มีตัวชี้วัดใดเพียงพอสำหรับการทำความเข้าใจที่ครอบคลุม
  • การระเบิดของความครอบคลุมเส้นทาง (Path coverage explosion): การครอบคลุมทุกเส้นทางที่เป็นไปได้กลายเป็นสิ่งที่เป็นไปไม่ได้ในโปรแกรมที่มีเงื่อนไขแยก (conditional branches) จำนวนมาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้การวัดความกว้างของชุดทดสอบอย่างเป็นรูปธรรม โดยไม่ขึ้นกับการประเมินคุณภาพการทดสอบเชิงอัตวิสัย
  • ระบุเส้นทางการทำงานของโค้ดที่ไม่ได้ใช้งาน ซึ่งสามารถนำออกได้ง่าย ทำให้การบำรุงรักษาง่ายขึ้น
  • ผสานรวมเข้ากับไปป์ไลน์การสร้างและทดสอบอัตโนมัติได้อย่างราบรื่น
  • สนับสนุนการตัดสินใจอย่างมีข้อมูลเกี่ยวกับการลงทุนในการทดสอบ: โมดูลใดต้องการการทดสอบที่ลึกซึ้งยิ่งขึ้น

การประยุกต์ใช้

  • การระบุโค้ดที่ไม่ได้ใช้งาน (dead code) ในระบบการเงินเก่าที่มีอายุ 10 ปีและมีโค้ดหลายล้านบรรทัด ทำให้สามารถลบออกได้อย่างปลอดภัยและลดภาระทางปัญญา (cognitive load) ในระหว่างการบำรุงรักษา
  • การยืนยันความสมบูรณ์ของชุดทดสอบในซอฟต์แวร์ทางการแพทย์ที่สำคัญ ซึ่งการปฏิบัติตามกฎระเบียบ (regulatory compliance) กำหนดให้มีหลักฐานการทดสอบที่ละเอียดถี่ถ้วนก่อนการนำไปใช้งาน
  • การตรวจจับเส้นทางการจัดการข้อผิดพลาดที่ไม่ได้ใช้ประโยชน์ในซอฟต์แวร์โครงสร้างพื้นฐานโทรคมนาคม โดยการตรวจสอบตัวจัดการข้อยกเว้น (exception handlers) ที่ยังไม่ถูกครอบคลุม ซึ่งอาจปกปิดความล้มเหลวที่เงียบ (silent failures)
  • การจัดลำดับความสำคัญของความพยายามในการทดสอบในการพัฒนาเกม โดยการระบุกลไกการเล่นเกม (gameplay mechanics) ที่ไม่ค่อยได้เรียกใช้งาน และกรณีสุดขอบ (edge cases) ในโค้ดจำลองฟิสิกส์ของเกม

วิธีการทำงาน

วิธีการทำงาน

1

ปรับแต่งซอร์สโค้ดด้วยโพรบ (probes) ที่บันทึกเหตุการณ์การทำงาน รับชุดทดสอบและระบบภายใต้การทดสอบ (System Under Test - SUT)

2

คอมไพล์หรือแปลงโค้ดเพื่อรวมการปรับแต่งที่ติดตามว่าส่วนโปรแกรมใด (statements, branches, or paths) ถูกเรียกใช้งานระหว่างการทดสอบ

3

เรียกใช้ชุดทดสอบกับโค้ดที่ปรับแต่งแล้ว บันทึกว่าส่วนประกอบโปรแกรมใดถูกครอบคลุม รวบรวมร่องรอยการทำงาน (execution traces) และข้อมูลความครอบคลุม

4

รวบรวมตัวชี้วัดความครอบคลุมในหลายระดับ: ความครอบคลุมของบรรทัด (line coverage), ความครอบคลุมของเงื่อนไข (branch coverage), ความครอบคลุมของเส้นทางการทำงาน (path coverage), ความครอบคลุมของเมธอด (method coverage) คำนวณเปอร์เซ็นต์ความครอบคลุมและระบุส่วนของโค้ดที่ยังไม่ถูกเรียกใช้งาน

5

แสดงภาพโค้ดที่ยังไม่ถูกครอบคลุม วิเคราะห์ช่องว่างของความครอบคลุม และสร้างคำแนะนำสำหรับกรณีทดสอบเพิ่มเติมที่มุ่งเป้าไปที่ส่วนที่ยังขาดความครอบคลุม

ข้อผิดพลาดที่พบบ่อย

  • การมุ่งเป้าไปที่เป้าหมายเปอร์เซ็นต์ความครอบคลุม (เช่น 80%) โดยไม่ใส่ใจกับคุณภาพการทดสอบ การทดสอบที่มุ่งเน้นความครอบคลุมมักจะอ่อนแอ
  • การละเลยข้อเท็จจริงที่ว่าการบรรลุความครอบคลุม 100% มักเป็นไปไม่ได้และไม่คุ้มค่าในระบบขนาดใหญ่
  • การปฏิบัติต่อความครอบคลุมเสมือนเป็นการรับประกันความถูกต้อง ความครอบคลุมสูงและการทดสอบที่ผ่านไม่ได้เป็นการรับประกันว่าจะไม่มีข้อบกพร่องทางตรรกะ
  • การใช้ความครอบคลุมเพียงอย่างเดียวในการประเมินความสามารถของนักพัฒนา แรงกดดันในการบรรลุความครอบคลุมนำไปสู่การเล่นเกม (trivial tests ที่ไม่เพิ่มมูลค่าใดๆ)

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่างความครอบคลุมของคำสั่ง (statement), เงื่อนไข (branch), และเส้นทาง (path)?

ความครอบคลุมของคำสั่งวัดว่าแต่ละบรรทัดถูกเรียกใช้งานหรือไม่ ทุกคำสั่งถูกเยี่ยมชมอย่างน้อยหนึ่งครั้ง ความครอบคลุมของเงื่อนไขกำหนดให้เงื่อนไขแต่ละอัน (if, switch) ประเมินผลทั้งจริงและเท็จ ความครอบคลุมของเส้นทางรับรองว่าลำดับการทำงานที่แตกต่างกันทั้งหมดถูกเรียกใช้งาน ความครอบคลุมของเส้นทางแข็งแกร่งที่สุด แต่บ่อยครั้งเป็นไปไม่ได้ ความครอบคลุมของเงื่อนไขให้ความสมดุลที่ใช้งานได้จริง

การบรรลุความครอบคลุม 100% เป็นเป้าหมายที่สมจริงหรือพึงประสงค์หรือไม่?

การบรรลุความครอบคลุม 100% มักไม่คุ้มค่า ระบบโดยทั่วไปจะมีความครอบคลุม 75–90% ส่วน 10–25% สุดท้ายมักเกี่ยวข้องกับตัวจัดการข้อผิดพลาดที่เรียกใช้งานไม่บ่อย โค้ดเก่า หรือการเชื่อมต่อกับบุคคลที่สาม ผลตอบแทนที่ลดลง (diminishing returns) มีผลบังคับใช้: ความพยายามในการบรรลุ 100% มักเกินกว่าผลประโยชน์ส่วนเพิ่ม ตั้งเป้าความครอบคลุม 75–85% สำหรับโครงการส่วนใหญ่ และ 90%+ สำหรับระบบที่มีความสำคัญต่อความปลอดภัย

ความครอบคลุมสูงสามารถอยู่ร่วมกับอัตราข้อบกพร่องสูงในบางโครงการได้อย่างไร?

ความครอบคลุมวัดความกว้าง (โค้ดที่ถูกเรียกใช้งาน) ไม่ใช่วัดความลึก (คุณภาพของการยืนยัน) การทดสอบสามารถครอบคลุมบรรทัดได้โดยไม่ต้องยืนยันผลลัพธ์ที่ถูกต้อง ความครอบคลุมสูงพร้อมการยืนยันที่อ่อนแอสร้างความมั่นใจที่ผิดๆ มุ่งเน้นไปที่การออกแบบการทดสอบที่มีความหมายควบคู่ไปกับเป้าหมายความครอบคลุม

ฉันจะจัดการกับช่องว่างความครอบคลุมในไลบรารีของบุคคลที่สามหรือโค้ดที่สร้างขึ้นได้อย่างไร?

ยกเว้นโค้ดของบุคคลที่สามและโค้ดที่สร้างขึ้นจากตัวชี้วัดความครอบคลุมโดยใช้การกำหนดค่า (เช่น กฎการยกเว้นของ JaCoCo) มุ่งเน้นไปที่โค้ดแอปพลิเคชันที่คุณควบคุม ทีมบางส่วนตั้งค่าเกณฑ์ความครอบคลุมแยกต่างหากสำหรับโค้ดที่สร้างขึ้น (เช่น 40%) เทียบกับตรรกะที่เขียนด้วยมือ (เช่น 80%) เพื่อสะท้อนความคาดหวังที่สมจริง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Zhu, H., Hall, P. A. V., & May, J. H. R. (1997). Software unit test coverage and adequacy. ACM Computing Surveys, 29(4), 366–427.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Frankl, P. G., & Weiss, S. N. (1988). An experimental comparison of the effectiveness of branch testing and data flow testing. IEEE Transactions on Software Engineering, 14(12), 1763–1773.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  3. Corbet, J. (2008). Code coverage for the Linux kernel. Linux Weekly News article.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว