Skip to content
بازگشت به نتایج جست‌وجو

مدل پیش‌بینی نقص

معرفی‌شده توسط
Thomas Ostrand, Elaine Weyuker, Robert Bell
سال
2005
نوع
machine learning model
خانواده
Quality prediction

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل‌های پیش‌بینی نقص، احتمال بروز اشکالات نرم‌افزاری در ماژول‌های کد را با استفاده از رویکردهای آماری یا یادگیری ماشین پیش‌بینی می‌کنند. این مدل‌ها که توسط اوستراند، ویوکر و بل (2005) پیشگام شدند، معیارهای کد (پیچیدگی، تغییرات مکرر، وابستگی) را با داده‌های تاریخی نقص مرتبط می‌سازند تا مولفه‌های پرخطر را شناسایی کنند. سازمان‌ها از این پیش‌بینی‌ها برای تخصیص منابع آزمون، هدایت بازبینی کد و اولویت‌بندی بازسازی استفاده می‌کنند.

شهود پشت روش

نقص‌های نرم‌افزاری در برخی ماژول‌ها بیش از دیگران تجمع می‌یابند. با مطالعه شکست‌های گذشته و ویژگی‌های ماژول، الگوهایی پدیدار می‌شوند: تغییرات مکرر (churn)، وابستگی عمیق (coupling) و پیچیدگی بالا اغلب نشانه‌های دردسر هستند. مدل‌ها این الگوها را برای پیش‌بینی ریسک آینده یاد می‌گیرند. شناسایی زودهنگام، سرمایه‌گذاری پیشگیرانه در کیفیت را در مناطق پرخطر امکان‌پذیر می‌سازد.

تاریخ

تحقیقات اولیه پیش‌بینی نقص در دهه‌های 1970 تا 1990 از آزمون‌های آماری تک‌متغیره بر روی معیارهای ساده استفاده می‌کرد. کار اوستراند، ویوکر و بل در سال 2005 رویکردهای یادگیری ماشین چندمتغیره را معرفی کرد و قدرت پیش‌بینی عملی را نشان داد. تحقیقات بعدی مهندسی ویژگی (تغییرات کد، معیارهای اجتماعی) را اصلاح کرد، پیش‌بینی بین پروژه‌ای را بررسی کرد و پیش‌بینی نقص را در خطوط لوله یکپارچه‌سازی مداوم صنعتی ادغام کرد. عملکردهای مدرن معیارهای ایستا، تاریخچه نسخه و پوشش آزمون را برای پیش‌بینی‌های گروهی ترکیب می‌کنند.

چه زمانی استفاده شود

پیش‌بینی نقص را در سازمان‌های توسعه بزرگ که ظرفیت آزمون محدود است و شناسایی نقص پس از انتشار پرهزینه است، به کار ببرید. برای اولویت‌بندی بازبینی کد، تخصیص تلاش اتوماسیون آزمون و برنامه‌ریزی چرخه‌های انتشار مؤثر است. فرض کنید داده‌های تاریخی پروژه کافی (50+ ماژول با نقص‌های شناخته‌شده) وجود دارد؛ داده‌های پراکنده، پیش‌بینی را تخریب می‌کنند. پیش‌بینی در انتقال درون پروژه‌ای بهترین عملکرد را دارد؛ انتقال بین پروژه‌ای همچنان چالش‌برانگیز است.

محدودیت‌ها و ملاحظات

  • پیش‌بینی‌ها احتمالی هستند؛ پیش‌بینی‌های ماژول منفرد، به‌ویژه برای سیستم‌های کم‌نقص، نامعتبر باقی می‌مانند
  • عملکرد مدل هنگام پیش‌بینی پروژه‌ها یا دامنه‌های جدید که به‌طور قابل‌توجهی با داده‌های آموزشی متفاوت هستند، تخریب می‌شود
  • تعریف و برچسب‌گذاری نقص در داده‌های تاریخی، سوگیری سیستماتیکی را معرفی می‌کند که بر اعتبار مدل تأثیر می‌گذارد
  • عدم تعادل کلاس: بیشتر ماژول‌ها بدون نقص هستند، که پیش‌بینی نقص نادر را ذاتاً چالش‌برانگیز می‌کند

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تخصیص منابع پیشگیرانه قبل از انتشار را امکان‌پذیر می‌سازد و نرخ فرار نقص را کاهش می‌دهد
  • از معیارهای کد عینی و قابل اندازه‌گیری به جای قضاوت ذهنی بازبین استفاده می‌کند
  • به پایگاه‌های کد بزرگ مقیاس‌پذیر است؛ اتوماسیون ماژول‌های در معرض خطر را سریع‌تر از بازرسی دستی شناسایی می‌کند
  • از تحلیل هزینه-فایده پشتیبانی می‌کند: پیش‌بینی می‌کند که سرمایه‌گذاری آزمون در کجا بیشترین بازده را دارد

کاربردها

  • هدایت مدیریت انتشار در نرم‌افزارهای حیاتی ایمنی دستگاه‌های پزشکی با شناسایی ماژول‌هایی که نیاز به اعتبارسنجی اضافی قبل از استقرار دارند
  • تخصیص تلاش بازبینی کد امنیتی در برنامه‌های وب با پیش‌بینی نقاط داغ آسیب‌پذیری از معیارهای کد و الگوهای تغییر
  • بهینه‌سازی تولید موارد آزمون در سیستم‌های تعبیه‌شده بزرگ که در آن آزمون جامع امکان‌پذیر نیست؛ تمرکز طراحی آزمون بر ماژول‌های پرخطر پیش‌بینی‌شده
  • پشتیبانی از تصمیم‌گیری آگاهانه در مورد استخدام و ترکیب تیم در محیط‌های استارتاپی با شناسایی ماژول‌های دارای چگالی نقص بالا که نیاز به توجه توسعه‌دهنده ارشد دارند

چگونه کار می‌کند

چگونه کار می‌کند

1

داده‌های تاریخی پروژه شامل گزارش‌های کنترل نسخه، سوابق ردیابی اشکال، معیارهای کد و اطلاعات استقرار را که چندین نسخه را پوشش می‌دهند، جمع‌آوری کنید.

2

ویژگی‌ها را از داده‌های خام مهندسی کنید: معیارهای پیچیدگی کد، فراوانی تغییر، تجربه نویسنده، پوشش آزمون، وابستگی معماری. توزیع کلاس‌ها را برای مدیریت نرخ‌های نقص نامتوازن متعادل کنید.

3

همبستگی بین ویژگی‌ها و نقص‌های تاریخی را محاسبه کنید تا سیگنال‌های پیش‌بینی‌کننده را شناسایی کنید. از انتخاب ویژگی برای جلوگیری از بیش‌برازش (overfitting) و کاهش ابعاد استفاده کنید.

4

طبقه‌بندهای یادگیری ماشین (رگرسیون لجستیک، جنگل تصادفی، SVM) یا مدل‌های آماری را برای پیش‌بینی حضور نقص در کد جدید بر اساس ویژگی‌های مهندسی‌شده آموزش دهید.

5

ماژول‌ها را بر اساس احتمال نقص پیش‌بینی‌شده رتبه‌بندی کنید. پیش‌بینی‌ها را در برابر داده‌های آزمون نگه‌داشته‌شده اعتبارسنجی کنید. عدم قطعیت و کالیبراسیون را به ذینفعان منتقل کنید.

دام‌های رایج

  • احتمال پیش‌بینی‌شده را به عنوان حقیقت مطلق در نظر می‌گیرد؛ به عنوان ورودی برای تصمیم‌گیری استفاده می‌شود، نه حکم نهایی
  • نادیده گرفتن مسائل کیفیت داده در گزارش‌های نقص؛ نقص‌های با برچسب اشتباه یا گمشده، آموزش مدل را فاسد می‌کنند
  • پذیرش کورکورانه مدل‌ها از ادبیات بدون کالیبراسیون با زمینه سازمانی و دامنه محلی
  • نادیده گرفتن رانش مفهوم (concept drift): قدرت پیش‌بینی با تکامل فناوری، شیوه‌های توسعه و ترکیب تیم، تخریب می‌شود

پرسش‌های متداول

چه مقدار داده تاریخی برای ساخت یک مدل پیش‌بینی نقص دقیق نیاز دارم؟

حداقل 50 تا 100 ماژول با برچسب‌های نقص شناخته‌شده معمولاً داده‌های آموزشی کافی را فراهم می‌کنند. ایده‌آل این است که از 200+ ماژول که چندین نسخه را پوشش می‌دهند برای ثبت الگوهای زمانی استفاده شود. داده‌های بیشتر عملکرد را بهبود می‌بخشد، اما بازده نزولی اعمال می‌شود؛ کیفیت برچسب‌های نقص مهم‌تر از حجم خام است.

کدام معیارهای کد بیشترین پیش‌بینی‌کنندگی نقص را دارند؟

مطالعات تجربی به‌طور مداوم شناسایی می‌کنند: پیچیدگی کد (سیکلوماتیک، مک‌کیب)، خطوط کد (LOC)، فراوانی تغییر (churn)، وابستگی (coupling) و پوشش آزمون به عنوان پیش‌بینی‌کننده‌های قوی. هیچ معیار واحدی غالب نیست؛ رویکردهای گروهی که چندین معیار را ترکیب می‌کنند، بهتر از معیارهای منفرد عمل می‌کنند. معیارهای خاص دامنه (مانند عمق تودرتو در سیستم‌های تعبیه‌شده) ارزش افزوده دارند.

آیا پیش‌بینی نقص می‌تواند در پروژه‌ها یا زبان‌های برنامه‌نویسی مختلف کار کند؟

پیش‌بینی بین پروژه‌ای و بین زبانی همچنان چالش‌برانگیز است. مدل‌های آموزش‌دیده بر روی پروژه‌های جاوا اغلب در پروژه‌های C++ به دلیل معانی معیارهای خاص زبان و شیوه‌های توسعه شکست می‌خورند. رویکردهای یادگیری انتقالی امیدوارکننده هستند اما نیاز به اعتبارسنجی دقیق دارند. پیش‌بینی درون پروژه‌ای بسیار قابل اطمینان‌تر است.

چگونه با داده‌های به‌شدت نامتوازن که در آن تعداد کمی از ماژول‌ها حاوی نقص هستند، برخورد کنم؟

از تکنیک‌هایی مانند نمونه‌برداری طبقه‌بندی‌شده (stratified sampling)، SMOTE (نمونه‌برداری بیش از حد اقلیت مصنوعی)، وزن‌دهی کلاس در توابع زیان و روش‌های گروهی (جنگل تصادفی، تقویت گرادیان) استفاده کنید. با استفاده از ROC-AUC یا منحنی‌های دقت-بازیابی (precision-recall) به جای دقت ارزیابی کنید؛ دقت به تنهایی در مجموعه داده‌های نامتوازن گمراه‌کننده است. تنظیم آستانه، مبادله دقت در مقابل بازیابی را امکان‌پذیر می‌سازد.

روش‌های مرتبط

منابع

  1. Ostrand, T. J., Weyuker, E. J., & Bell, R. M. (2005). Predicting the location and number of faults in large software systems. IEEE Transactions on Software Engineering, 31(4), 340–355.

    باز کردن مرجع DOI
    کپی شد.
  2. Nagappan, N., Ball, T., & Zeller, A. (2006). Mining metrics to predict component failures. In Proceedings of the 28th International Conference on Software Engineering (pp. 452–461).

    باز کردن مرجع DOI
    کپی شد.
  3. Menzies, T., Greenwald, J., & Russ, P. (2007). Problems with precision: A response to comments on 'Data mining static code attributes to learn defect predictors'. IEEE Transactions on Software Engineering, 33(9), 637–640.

    باز کردن مرجع DOI
    کپی شد.