Abstract Tillförlitligt förutsäga programvara defekter är en av de heliga graals av programvara teknik. Forskare har utvecklat och implementerat en uppsjö av fel/buggförutsägelser som varierar i termer av noggrannhet, komplexitet och indata som de behöver. Avsaknaden av ett fastställt riktmärke gör det dock svårt, om inte omöjligt, att jämföra metoder. Vi presenterar ett riktmärke för felprognoser, i form av en allmänt tillgänglig datauppsättning bestående av flera programvarusystem, och ger en omfattande jämförelse av välkända felprognoser, tillsammans med nya tillvägagångssätt som vi utformat. Vi utvärderar resultaten av tillvägagångssätten med hjälp av olika resultatindikatorer: klassificering av enheter som defektbenägna eller inte, rankning av enheterna, med och utan att ta hänsyn till ansträngningarna att se över ett företag. Vi utförde tre uppsättningar experiment som syftar till att (1) jämföra tillvägagångssätten mellan olika system, (2) testa om skillnaderna i prestanda är statistiskt signifikanta, och (3) undersöka stabiliteten i tillvägagångssätt mellan olika inlärare. Våra resultat visar att även om vissa metoder presterar bättre än andra på ett statistiskt signifikant sätt, så är extern giltighet i felprognoser fortfarande ett öppet problem, eftersom generalisering av resultat till olika sammanhang/lärare visade sig vara en delvis misslyckad strävan.
En ansträngning gjordes genom att tillhandahålla en omfattande jämförelse av välkända bugg förutsägelser metoder, tillsammans med nya metoder med hjälp av allmänt tillgängliga dataset som består av flera mjukvarusystem REF.
Evaluating defect prediction approaches: a benchmark and an extensive comparison
{'venue': 'Empirical Software Engineering', 'journal': 'Empirical Software Engineering', 'mag_field_of_study': ['Computer Science']}