Abstract-Software fel förutsägelse strävar efter att förbättra programvarans kvalitet och testeffektivitet genom att konstruera prediktiva klassificeringsmodeller från kodattribut för att möjliggöra en snabb identifiering av felbenägna moduler. Flera klassificeringsmodeller har utvärderats för denna uppgift. På grund av inkonsekventa resultat när det gäller den ena klassificeringens överlägsenhet över den andra och nyttan av den metriska klassificeringen i allmänhet behövs dock mer forskning för att förbättra konvergensen mellan studierna och ytterligare öka förtroendet för experimentella resultat. Vi överväger tre potentiella källor för partiskhet: att jämföra klassificeringar över en eller ett litet antal egenutvecklade datamängder, att förlita sig på noggrannhetsindikatorer som är begreppsmässigt olämpliga för förutsägelser om programvarudefekter och jämförelser mellan studier, och slutligen begränsad användning av statistiska testförfaranden för att säkerställa empiriska fynd. För att råda bot på dessa problem föreslås och tillämpas en ram för jämförande experiment med programvarudefekter i en storskalig empirisk jämförelse av 22 klassificeringar över 10 datauppsättningar för public domain från NASA Metrics Data databas. Sammantaget observeras en tilltalande grad av prediktiv noggrannhet, vilket stöder uppfattningen att metrisk-baserad klassificering är användbar. Våra resultat tyder dock på att betydelsen av den specifika klassificeringsalgoritmen kan vara mindre än vad som tidigare antagits eftersom inga betydande prestandaskillnader kunde upptäckas bland de 17 bästa klassificeringarna.
Lessmann m.fl. REF utvärderade den ena klassificeringsklassens överlägsenhet i förhållande till den andra.
Benchmarking Classification Models for Software Defect Prediction: A Proposed Framework and Novel Findings
{'venue': 'IEEE Transactions on Software Engineering', 'journal': 'IEEE Transactions on Software Engineering', 'mag_field_of_study': ['Computer Science']}