I detta dokument diskuteras ett potentiellt metodologiskt problem med empiriska studier som utvärderar projektarbetes förutsägelsesystem. Ofta används en "hold-out"-strategi så att datamängden delas upp i en utbildning och en valideringsuppsättning. Därefter görs en slutsats om den relativa noggrannheten hos de olika prediktionstekniker som undersöks. Vanligtvis görs detta på ett mycket litet antal provade träningsset. Vi visar att sådana studier kan leda till nästan slumpmässiga resultat (särskilt där relativt små effekter studeras). För att illustrera detta problem analyserar vi två dataset med hjälp av ett konfigurationsproblem för fallbaserade förutsägelser och genererar resultat från 100 träningsset. Detta gör det möjligt för oss att åstadkomma resultat med kvantifierade konfidensgränser. Av detta drar vi slutsatsen att användningen av mindre än fem utbildningsset i båda fallen leder till opålitliga resultat och helst bör fler än 20 utbildningsset sättas in. Tyvärr ställer detta något av en fråga om ett antal empiriska valideringar av prediktionstekniker, och därför föreslår vi att ytterligare forskning behövs som en brådskande fråga.
Kirsopp och Shepperd REF analyserade omfattningen av antalet träningsset för förutsägelse av programvara e®ort med hjälp av fallbaserad förutsägelse på två dataset.
Making Inferences with Small Numbers of Training Sets
{'venue': 'IEE Proceedings - Software', 'journal': 'IEE Proceedings - Software', 'mag_field_of_study': ['Computer Science']}