Abstract-bakgrund. Förmågan att förutsäga programvarukomponenter med felfunktion skulle vara värdefull. Följaktligen har det gjorts många empiriska studier för att utvärdera prestandan hos olika tekniker som strävar efter att åstadkomma detta på ett effektivt sätt. Ingen teknik dominerar dock och därför är det fortfarande problematiskt att utforma en tillförlitlig modell för felprognoser. Syfte. Vi försöker förstå de många motstridiga experimentella resultaten och förstå vilka faktorer som har störst effekt på prediktiv prestanda. Metod. Vi genomför en metaanalys av alla relevanta primära studier av felförutsägelse av hög kvalitet för att avgöra vilka faktorer som påverkar prediktiv prestanda. Detta bygger på 42 primära studier som uppfyller våra integrationskriterier som kollektivt rapporterar 600 uppsättningar empiriska förutsägelser resultat. Genom omvänd konstruktion en gemensam responsvariabel bygger vi en slumpmässig effekt ANOVA-modell för att undersöka det relativa bidraget från fyra modellbyggnadsfaktorer (klassificerare, datauppsättning, indatamått och forskargrupp) till modellförutsägelseprestanda. Resultat. Förvånansvärt nog tycker vi att valet av klassificerare har liten inverkan på prestanda (1,3 procent) och däremot är den stora (31 procent) förklarande faktorn forskargruppen. Det spelar mer roll vem som utför arbetet än vad som görs. Slutsats. För att övervinna denna höga nivå av forskares partiskhet bör forskare med felprognoser (i) genomföra blindanalys, (ii) förbättra rapporteringsprotokollen och (iii) genomföra fler intergroup-studier för att lindra kompetensfrågor. Slutligen krävs forskning för att avgöra om denna partiskhet är förhärskande inom andra tillämpningsområden.
Shepperd m.fl. REF genomförde en metaanalys av alla relevanta faktorer som påverkar prediktiv prestanda.
Researcher Bias: The Use of Machine Learning in Software Defect Prediction
{'venue': 'IEEE Transactions on Software Engineering', 'journal': 'IEEE Transactions on Software Engineering', 'mag_field_of_study': ['Computer Science']}