Sammanhang: Ett antal tillvägagångssätt har föreslagits för det allmänna problemet med utvärdering och urval av programvarukomponenter. De flesta strategier kommer från området Component-Based Software Development (CBSD), ta itu med problemet med kommersiella-off-shälf komponentval och använda målorienterade krav modellering och multi-criteria beslutsfattande tekniker. Utvärderingen av komponenternas lämplighet sker i stor utsträckning manuellt och bygger delvis på subjektiv bedömning. I dynamiska, distribuerade miljöer med höga krav på transparenta urvalsprocesser som leder till tillförlitliga, revisionsbara beslut, subjektiva bedömningar och leverantörsanspråk anses dock inte tillräckliga. Dessutom behövs det ibland kontinuerlig övervakning och omvärdering av komponenter efter integrationen. Mål: I detta dokument beskrivs hur en evidensbaserad metod för komponentutvärdering kan förbättra repeterbarheten och reproducerbarheten av komponenturvalet under följande förhållanden: (1) Funktionell homogenitet hos kandidatkomponenter och (2) Högt antal komponenter och urvalsproblemfall. Metod: Vår utvärderings- och urvalsmetod och vårt verktyg utvärderar empiriskt kandidatkomponenter i kontrollerade experiment genom att använda automatiserade mätningar. Genom att analysera skillnaderna i systemutvecklingsorienterade scenarier visar dokumentet hur nyttoanalysprocessen kan skräddarsys för att passa problemutrymmet, och beskriver en metod som är inriktad på automatiserad utvärdering i en empirisk miljö. Vi beskriver verktygsstöd och ett ramverk för automatiserade mätningar. Vi presenterar vidare en taxonomi av beslutskriterier för det beskrivna scenariot och diskuterar de datainsamlingsmetoder som behövs för varje kategori av kriterier. Resultat: För att utvärdera vår strategi diskuterar vi en rad fallstudier inom området digitalt bevarande. Vi analyserar de kriterier som definieras i dessa fallstudier, klassificerar dem enligt taxonomi, och diskuterar den kvantitativa täckningen av automatiserade mätningar. Analysresultaten visar att en automatiserad ram för mätning, utvärdering och urval är nödvändig och genomförbar för att säkerställa tillförlitliga och repeterbara beslut.
Becker och Rauber har föreslagit evidensbaserad metod som hjälper i komponentutvärdering REF.
Improving component selection and monitoring with controlled experimentation and automated measurements
{'venue': 'Inf. Softw. Technol.', 'journal': 'Inf. Softw. Technol.', 'mag_field_of_study': ['Computer Science']}