Bakgrund: Användningen av maskininlärningsmetoder för estimering av programvaruinsatser (SEE) har studerats i mer än ett decennium. De flesta studier utfördes jämförelser av olika inlärningsmaskiner på ett antal datamängder. De flesta inlärningsmaskiner har dock mer än en parameter som behöver ställas in, och det är okänt i vilken utsträckning parameterinställningar kan påverka deras prestanda i SEE. Många verk verkar göra ett implicit antagande om att parameterinställningar inte skulle ändra resultaten nämnvärt. Syfte: Att undersöka i vilken utsträckning parameterinställningar påverkar prestandan hos inlärningsmaskiner i SEE och vilka inlärningsmaskiner som är känsligare för deras parametrar. Metod: Med tanke på ett online-lärande scenario där inlärningsmaskiner uppdateras med nya projekt när de blir tillgängliga, utfördes systematiska experiment med hjälp av fem inlärningsmaskiner under flera olika parameterinställningar på tre datauppsättningar. Resultat: Medan vissa inlärningsmaskiner som att lägga sig med regressionsträd inte var så känsliga för parameterinställningar, andra såsom flerlagers perceptroner påverkades dramatiskt. Att kombinera inlärningsmaskiner till att hänga ensembler bidrog till att göra dem mer robusta mot olika parameterinställningar. Den genomsnittliga prestandan för k-NN för olika projekt påverkades inte så mycket av olika parameterinställningar, men parameterinställningarna som uppnådde den bästa genomsnittliga prestandan över tid steg var inte så konsekvent den bästa genom tiderna steg som i de andra strategierna. Slutsatser: Lärandemaskiner som är mer/mindre känsliga för olika parameterinställningar identifierades. De olika sensitiviteterna hos olika inlärningsmaskiner visar att känslighet för parametrar bör betraktas som ett av kriterierna för utvärdering av den sociala ekonomins strategier. En bra inlärningsmaskin för SEE är inte bara en som kan uppnå överlägsen prestanda, utan också en som antingen är mindre beroende av parameterinställningar eller till vilken bra parameterval är lätta att göra.
Parameter tuning av maskininlärning metoder för att lösa problem programvara ansträngning estimering har också studerats, och det visades att parameterinställningar gör skillnad i resultaten av maskininlärning prestanda REF.
The impact of parameter tuning on software effort estimation using learning machines
{'venue': "PROMISE '13", 'journal': None, 'mag_field_of_study': ['Computer Science']}