Sammanhang: Verifiering och validering (V&V) utgör 20–50 procent av de totala utvecklingskostnaderna för ett programvarusystem i praktiken. Testautomation föreslås sänka dessa V&V-kostnader, men tillgänglig forskning ger endast begränsade empiriska data från industriell praxis om underhållskostnaderna för automatiserade tester och vilka faktorer som påverkar dessa kostnader. I synnerhet är dessa kostnader och faktorer okända för automatiserad GUI-baserad testning. Mål: I detta dokument behandlas denna brist på kunskap genom en analys av de kostnader och faktorer som är förknippade med upprätthållandet av automatiserade GUI-baserade tester i industriell praxis. Metod: En empirisk studie vid två företag, Siemens och Saab, rapporteras där intervjuer om, och empiriskt arbete med, Visual GUI Testing utförs för att få fram data om teknikens underhållskostnader och genomförbarhet. Resultat: 13 faktorer som påverkar underhållet observeras, t.ex. Testerkunskaper/erfarenheter och testfalls komplexitet. Dessutom visar statistisk analys att utveckla nya testskript är dyrare än underhåll men också att frekvent underhåll är mindre kostsamt än sällan, big bang underhåll. Dessutom presenteras en kostnadsmodell, baserad på tidigare arbete, som uppskattar tiden till positiv avkastning på investeringar (ROI) av testautomation jämfört med manuell testning. Slutsatser: Slutsatsen är att testautomation kan sänka de totala kostnaderna för programvaruutveckling av ett projekt samtidigt som den har positiva effekter på programvarukvaliteten. Underhållskostnader kan dock fortfarande vara betydande och ju mindre tid ett företag för närvarande spenderar på manuell testning, desto mer tid krävs innan positiva, ekonomiska, ROI uppnås efter automatisering.
Till exempel, studien visar att underhållskostnader för frekvent underhåll är lägre än sällan underhåll, positiv avkastning på investeringar kan uppnås i rimlig tid, tekniken kan möjligtvis användas över månader åt gången, etc REF.
Maintenance of Automated Test Suites in Industry: An Empirical study on Visual GUI Testing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}