Abstract Empiriska studier, ofta i form av kontrollerade experiment, har allmänt antagits inom programvaruteknik forskning som ett sätt att utvärdera fördelarna med nya programvarutekniska verktyg. Kontrollerade experiment med mänskliga deltagare som faktiskt använder nya verktyg är dock fortfarande sällsynta, och när de genomförs, vissa har allvarliga giltighetsproblem. Den senaste forskningen har också visat att många forskare inom programvaruteknik anser att denna typ av utvärdering av verktyg är för riskabel och för svår att genomföra, eftersom de i slutändan kan leda till inkonsekventa eller negativa resultat. I denna uppsats strävar vi både efter att hjälpa forskare att minimera riskerna med denna typ av verktygsutvärdering och att öka deras kvalitet genom att erbjuda praktisk metodvägledning för att utforma och driva kontrollerade experiment med utvecklare. Vår vägledning fyller luckor i den empiriska litteraturen genom att ur ett praktiskt perspektiv förklara alternativ i rekrytering och urval av mänskliga deltagare, informerat samtycke, experimentella förfaranden, demografiska mätningar, gruppuppdrag, utbildning, val och utformning av uppgifter, mätning av gemensamma utfallsvariabler såsom framgång och tid på uppdrag, samt studierapportering. Under hela tiden placerar vi denna vägledning i resultaten av en ny systematisk utvärdering av de verktygsutvärderingar som publicerades i över 1 700 programutvecklingsdokument som publicerades 2001–2011.
Ko och andra presenterar riktlinjer för att utföra kontrollerade experiment för att utvärdera program-engineering verktyg med mänskliga deltagare REF.
A practical guide to controlled experiments of software engineering tools with human participants
{'venue': 'Empirical Software Engineering', 'journal': 'Empirical Software Engineering', 'mag_field_of_study': ['Computer Science']}