Abstract-Tillförlitligheten hos en förutsägelse modell beror på kvaliteten på de data som den utbildades från. Defektförutsägelsemodeller kan därför vara otillförlitliga om de är utbildade med hjälp av bullriga data. Ny forskning tyder på att slumpmässigt injicerat buller som ändrar klassificering (märkning) av programvarumoduler från defekta till rena (och vice versa) kan påverka prestandan hos defekta modeller. Men i själva verket är felaktigt märkta (dvs. felmärkta) problemrapporter sannolikt icke-slumpmässiga. I detta dokument undersöker vi om felmärkning är slumpmässig och vilken inverkan realistisk felmärkning har på prestanda och tolkning av defektmodeller. Genom en fallstudie av 3931 manuellt behandlade problemrapporter från Apache Jackrabbit- och Lucene-systemen, finner vi att: (1) problemrapport felmärkning är inte slumpmässig; (2) precision påverkas sällan av felmärkta problemrapporter, vilket tyder på att utövare kan lita på noggrannheten hos moduler som märkts som defekta av modeller som utbildas med hjälp av bullriga data; (3) modeller som är utbildade på bullriga data uppnår normalt 56 %-68% av återkallandet av modeller som är utbildade på rena data; och (4) endast mätvärdena i högsta influens rang av våra defekta modeller är robusta för det buller som införs genom felmärkning, vilket tyder på att de mindre inflytelserika mätvärdena av modeller som är utbildade på bullriga data inte bör tolkas eller användas för att fatta beslut.
Till exempel visar vårt senaste arbete att felmärkning av rapport har en stor inverkan på tolkningen av felprognoser modeller REF.
The impact of mislabelling on the performance and interpretation of defect prediction models
{'venue': "ICSE '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}