Skip to content
กลับไปยังผลการค้นหา

แบบจำลองการทำนายข้อบกพร่อง

ผู้เสนอ
Thomas Ostrand, Elaine Weyuker, Robert Bell
ปี
2005
ประเภท
machine learning model
กลุ่มวิธี
Quality prediction

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองการทำนายข้อบกพร่อง (Defect Prediction Model) ใช้แนวทางทางสถิติหรือการเรียนรู้ของเครื่องเพื่อคาดการณ์โอกาสที่จะเกิดข้อผิดพลาดในส่วนประกอบของซอฟต์แวร์ (code modules) แบบจำลองเหล่านี้ซึ่งริเริ่มโดย Ostrand, Weyuker และ Bell (2005) ได้เชื่อมโยงตัวชี้วัดโค้ด (เช่น ความซับซ้อน, การเปลี่ยนแปลงบ่อย, การเชื่อมโยง) กับข้อมูลข้อบกพร่องในอดีต เพื่อระบุส่วนประกอบที่มีความเสี่ยงสูง องค์กรต่างๆ ใช้การคาดการณ์เหล่านี้เพื่อจัดสรรทรัพยากรการทดสอบ, ชี้นำการตรวจสอบโค้ด และจัดลำดับความสำคัญของการปรับปรุงโครงสร้างโค้ด

แนวคิดเบื้องหลังวิธีการ

ข้อบกพร่องของซอฟต์แวร์มักกระจุกตัวอยู่ในบางโมดูลมากกว่าโมดูลอื่น การศึกษาความล้มเหลวในอดีตและลักษณะของโมดูลเผยให้เห็นรูปแบบ: การเปลี่ยนแปลงบ่อย (frequent changes), การเชื่อมโยงที่ซับซ้อน (deep coupling) และความซับซ้อนที่สูง (elevated complexity) มักเป็นสัญญาณของปัญหา แบบจำลองจะเรียนรู้รูปแบบเหล่านี้เพื่อคาดการณ์ความเสี่ยงในอนาคต การระบุตั้งแต่เนิ่นๆ ช่วยให้สามารถลงทุนด้านคุณภาพเชิงรุกในส่วนที่มีความเสี่ยง

ประวัติศาสตร์

งานวิจัยยุคแรกเกี่ยวกับการทำนายข้อบกพร่องในช่วงทศวรรษ 1970–1990 ใช้การทดสอบทางสถิติแบบตัวแปรเดียว (univariate statistical tests) กับตัวชี้วัดอย่างง่าย งานของ Ostrand, Weyuker และ Bell ในปี 2005 ได้นำเสนอแนวทางแมชชีนเลิร์นนิงแบบหลายตัวแปร (multivariate machine learning approaches) ซึ่งแสดงให้เห็นถึงพลังการทำนายในทางปฏิบัติ งานวิจัยต่อมาได้ปรับปรุงการสร้างคุณลักษณะ (เช่น code churn, social metrics), สำรวจการทำนายข้ามโครงการ และบูรณาการการทำนายข้อบกพร่องเข้ากับไปป์ไลน์การรวมระบบอย่างต่อเนื่อง (continuous integration pipelines) ในอุตสาหกรรม การปฏิบัติงานสมัยใหม่ผสมผสานตัวชี้วัดแบบสถิต (static metrics), ประวัติเวอร์ชัน และความครอบคลุมของการทดสอบ สำหรับการทำนายแบบรวม (ensemble predictions)

ควรใช้เมื่อใด

นำการทำนายข้อบกพร่องไปใช้ในองค์กรพัฒนาขนาดใหญ่ที่มีขีดจำกัดด้านความจุในการทดสอบ และมีค่าใช้จ่ายสูงในการตรวจจับข้อบกพร่องหลังการปล่อยซอฟต์แวร์ เหมาะสำหรับการจัดลำดับความสำคัญของการตรวจสอบโค้ด, การจัดสรรความพยายามในการทดสอบอัตโนมัติ และการวางแผนรอบการปล่อยซอฟต์แวร์ ตั้งสมมติฐานว่ามีข้อมูลโครงการในอดีตเพียงพอ (50+ โมดูลที่มีข้อบกพร่องที่ทราบ); ข้อมูลที่เบาบางจะทำให้การทำนายแย่ลง การทำนายได้ผลดีที่สุดสำหรับการถ่ายโอนภายในโครงการ (within-project transfer); การถ่ายโอนข้ามโครงการ (cross-project transfer) ยังคงเป็นเรื่องท้าทาย

ข้อจำกัดและข้อควรพิจารณา

  • การคาดการณ์เป็นแบบความน่าจะเป็น (probabilistic); การคาดการณ์โมดูลแต่ละรายการยังคงไม่น่าเชื่อถือ โดยเฉพาะอย่างยิ่งสำหรับระบบที่มีข้อบกพร่องน้อย
  • ประสิทธิภาพของแบบจำลองจะลดลงเมื่อคาดการณ์โครงการใหม่หรือโดเมนที่แตกต่างจากข้อมูลการฝึกอย่างมาก
  • การกำหนดและติดป้ายข้อบกพร่องในข้อมูลในอดีตนำมาซึ่งความเอนเอียงที่เป็นระบบ (systematic bias) ซึ่งส่งผลต่อความถูกต้องของแบบจำลอง
  • ความไม่สมดุลของคลาส (Class imbalance): โมดูลส่วนใหญ่ไม่มีข้อบกพร่อง ทำให้การทำนายข้อบกพร่องที่หายากเป็นเรื่องท้าทายโดยเนื้อแท้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ช่วยให้สามารถจัดสรรทรัพยากรเชิงรุกก่อนการปล่อยซอฟต์แวร์ ลดอัตราการหลุดรอดของข้อบกพร่อง
  • ใช้ตัวชี้วัดโค้ดที่วัดผลได้และเป็นรูปธรรม แทนการตัดสินใจเชิงอัตวิสัยของผู้ตรวจสอบ
  • สามารถปรับขนาดให้เข้ากับฐานโค้ดขนาดใหญ่ การทำให้เป็นอัตโนมัติช่วยระบุโมดูลที่มีความเสี่ยงได้เร็วกว่าการตรวจสอบด้วยตนเอง
  • สนับสนุนการวิเคราะห์ต้นทุนและผลประโยชน์: คาดการณ์ว่าการลงทุนในการทดสอบจะให้ผลตอบแทนสูงสุดที่ใด

การประยุกต์ใช้

  • การชี้นำการจัดการการปล่อยซอฟต์แวร์ในซอฟต์แวร์อุปกรณ์ทางการแพทย์ที่มีความสำคัญต่อความปลอดภัย โดยการระบุโมดูลที่ต้องการการตรวจสอบเพิ่มเติมก่อนการนำไปใช้งาน
  • การจัดสรรความพยายามในการตรวจสอบโค้ดด้านความปลอดภัยในเว็บแอปพลิเคชัน โดยการคาดการณ์จุดที่มีช่องโหว่จากตัวชี้วัดโค้ดและรูปแบบการเปลี่ยนแปลง
  • การเพิ่มประสิทธิภาพการสร้างกรณีทดสอบ (test case generation) ในระบบสมองกลฝังตัวขนาดใหญ่ที่การทดสอบอย่างครอบคลุมเป็นไปไม่ได้ โดยมุ่งเน้นการออกแบบการทดสอบไปที่โมดูลที่มีความเสี่ยงสูงที่คาดการณ์ไว้
  • การสนับสนุนการตัดสินใจเกี่ยวกับการจ้างงานและการจัดองค์ประกอบทีมในสภาพแวดล้อมสตาร์ทอัพ โดยการระบุโมดูลที่มีความหนาแน่นของข้อบกพร่องสูงซึ่งต้องการความสนใจจากนักพัฒนาอาวุโส

วิธีการทำงาน

วิธีการทำงาน

1

รวบรวมข้อมูลโครงการในอดีต รวมถึงบันทึกการควบคุมเวอร์ชัน (version control logs), บันทึกการติดตามข้อบกพร่อง (bug tracking records), ตัวชี้วัดโค้ด (code metrics) และข้อมูลการนำไปใช้งาน (deployment information) ที่ครอบคลุมหลายเวอร์ชัน

2

สร้างคุณลักษณะ (features) จากข้อมูลดิบ: ตัวชี้วัดความซับซ้อนของโค้ด, ความถี่ในการเปลี่ยนแปลง, ประสบการณ์ของผู้เขียน, ความครอบคลุมของการทดสอบ (test coverage), การเชื่อมโยงทางสถาปัตยกรรม (architectural coupling) ปรับสมดุลการกระจายของคลาส (class distributions) เพื่อจัดการกับอัตราข้อบกพร่องที่เบี่ยงเบน (skewed defect rates)

3

คำนวณสหสัมพันธ์ (correlations) ระหว่างคุณลักษณะและข้อบกพร่องในอดีตเพื่อระบุสัญญาณการทำนาย ใช้การเลือกคุณลักษณะ (feature selection) เพื่อหลีกเลี่ยงการเรียนรู้เกิน (overfitting) และลดมิติ (dimensionality)

4

ฝึกอบรมตัวจำแนกประเภทการเรียนรู้ของเครื่อง (machine learning classifiers) เช่น logistic regression, random forest, SVM หรือแบบจำลองทางสถิติ เพื่อทำนายการมีอยู่ของข้อบกพร่องในโค้ดใหม่ โดยอาศัยคุณลักษณะที่สร้างขึ้น

5

จัดอันดับโมดูลตามความน่าจะเป็นของข้อบกพร่องที่คาดการณ์ไว้ ตรวจสอบความถูกต้องของการคาดการณ์กับข้อมูลทดสอบที่แยกไว้ (held-out test data) สื่อสารความไม่แน่นอนและการปรับเทียบ (calibration) ให้กับผู้มีส่วนได้ส่วนเสีย

ข้อผิดพลาดที่พบบ่อย

  • การปฏิบัติต่อความน่าจะเป็นที่คาดการณ์ไว้เสมือนเป็นความจริง (ground truth); ใช้เป็นข้อมูลป้อนเข้าสำหรับการตัดสินใจ ไม่ใช่คำตัดสินสุดท้าย
  • การละเลยปัญหาคุณภาพข้อมูลในบันทึกข้อบกพร่อง ข้อบกพร่องที่ติดป้ายผิดหรือขาดหายไปทำให้การฝึกอบรมแบบจำลองเสียหาย
  • การนำแบบจำลองจากวรรณกรรมมาใช้โดยไม่ได้ปรับเทียบกับบริบทองค์กรและโดเมนเฉพาะอย่างสุ่มสี่สุ่มห้า
  • การละเลยการเปลี่ยนแปลงของแนวคิด (concept drift): พลังการทำนายจะเสื่อมลงเมื่อเทคโนโลยี แนวปฏิบัติด้านการพัฒนา และองค์ประกอบของทีมมีการเปลี่ยนแปลง

คำถามที่พบบ่อย

ต้องใช้ข้อมูลในอดีตมากน้อยเพียงใดในการสร้างแบบจำลองการทำนายข้อบกพร่องที่แม่นยำ?

โดยทั่วไป ข้อมูลฝึกอบรมที่เพียงพอคือโมดูลอย่างน้อย 50–100 โมดูลที่มีป้ายกำกับข้อบกพร่องที่ทราบ ตามหลักการแล้ว ควรใช้โมดูล 200+ โมดูลที่ครอบคลุมหลายเวอร์ชันเพื่อจับรูปแบบตามเวลา ข้อมูลที่มากขึ้นจะช่วยปรับปรุงประสิทธิภาพ แต่จะมีผลตอบแทนที่ลดลง คุณภาพของป้ายกำกับข้อบกพร่องมีความสำคัญมากกว่าปริมาณข้อมูลดิบ

ตัวชี้วัดโค้ดใดที่สามารถทำนายข้อบกพร่องได้มากที่สุด?

การศึกษาเชิงประจักษ์ระบุอย่างสม่ำเสมอว่า: ความซับซ้อนของโค้ด (cyclomatic, McCabe), จำนวนบรรทัดของโค้ด (LOC), ความถี่ในการเปลี่ยนแปลง (churn), การเชื่อมโยง (coupling) และความครอบคลุมของการทดสอบ (test coverage) เป็นตัวทำนายที่แข็งแกร่ง ไม่มีตัวชี้วัดใดตัวเดียวที่โดดเด่น แนวทางแบบรวม (ensemble approaches) ที่ผสมผสานตัวชี้วัดหลายตัวมีประสิทธิภาพเหนือกว่าตัวชี้วัดแต่ละตัว ตัวชี้วัดเฉพาะโดเมน (เช่น ความลึกของการซ้อน (nesting depth) ในระบบสมองกลฝังตัว) จะเพิ่มคุณค่า

การทำนายข้อบกพร่องสามารถใช้ได้กับหลายโครงการหรือหลายภาษาโปรแกรมหรือไม่?

การทำนายข้ามโครงการและข้ามภาษาโปรแกรมยังคงเป็นเรื่องท้าทาย แบบจำลองที่ฝึกอบรมกับโครงการ Java มักจะล้มเหลวกับโครงการ C++ เนื่องจากความหมายของตัวชี้วัดและแนวปฏิบัติด้านการพัฒนาที่เฉพาะเจาะจงกับภาษา แนวทางการเรียนรู้แบบถ่ายโอน (transfer learning) แสดงให้เห็นถึงศักยภาพ แต่ต้องมีการตรวจสอบความถูกต้องอย่างรอบคอบ การทำนายภายในโครงการมีความน่าเชื่อถือมากกว่ามาก

จะจัดการกับข้อมูลที่ไม่สมดุลอย่างรุนแรงได้อย่างไร โดยที่โมดูลเพียงไม่กี่โมดูลที่มีข้อบกพร่อง?

ใช้เทคนิคต่างๆ เช่น การสุ่มตัวอย่างแบบแบ่งชั้น (stratified sampling), SMOTE (synthetic minority oversampling), การถ่วงน้ำหนักคลาส (class weighting) ในฟังก์ชันการสูญเสีย (loss functions) และวิธีการแบบรวม (ensemble methods) เช่น random forest, gradient boosting ประเมินผลโดยใช้ ROC-AUC หรือ precision-recall curves แทนความแม่นยำ (accuracy) เพียงอย่างเดียว ความแม่นยำอาจทำให้เข้าใจผิดได้ในชุดข้อมูลที่ไม่สมดุล การปรับค่าเกณฑ์ (threshold adjustment) ช่วยให้สามารถปรับสมดุลระหว่าง precision และ recall ได้

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Ostrand, T. J., Weyuker, E. J., & Bell, R. M. (2005). Predicting the location and number of faults in large software systems. IEEE Transactions on Software Engineering, 31(4), 340–355.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Nagappan, N., Ball, T., & Zeller, A. (2006). Mining metrics to predict component failures. In Proceedings of the 28th International Conference on Software Engineering (pp. 452–461).

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  3. Menzies, T., Greenwald, J., & Russ, P. (2007). Problems with precision: A response to comments on 'Data mining static code attributes to learn defect predictors'. IEEE Transactions on Software Engineering, 33(9), 637–640.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว