En vanlig och naturlig intuition bland mjukvarutestare är att testfall måste skilja sig åt om ett programvarusystem ska testas ordentligt och dess kvalitet säkerställas. Följaktligen har mycket forskning gått till att formulera distansåtgärder för hur testfall, deras ingångar och/eller resultat skiljer sig åt. Gemensamt för dessa förslag är dock att de är datatypspecifika och/eller beräknar mångfalden endast mellan par av testindata, spår eller resultat. Vi föreslår ett nytt mått för att mäta mångfalden av uppsättningar av tester: testuppsättningens diameter (TSDm). Det utökar våra tidigare, parvisa testdiversitetsmått baserat på senaste framsteg i informationsteori avseende beräkningen av den normaliserade kompressionssträckan (NCD) för multiset. En viktig fördel är att TSDm är ett universellt mått på mångfald och därför kan tillämpas på alla testuppsättningar oberoende av typ av testingångar (och dessutom på andra testrelaterade data som t.ex. körspår). Men denna universalitet kommer till priset av större beräkningsansträngningar jämfört med konkurrerande metoder. Våra experiment på fyra olika system visar att testsetets diameter kan hjälpa till att välja testset med högre struktur- och feltäckning än slumpmässigt urval även när det endast används för att testa ingångar. Detta kan möjliggöra tidig testdesign och urval, innan ens ha ett programvarusystem för att testa, och komplettera andra typer av testautomation och analys. Vi hävdar att denna kvantifiering av testuppsättningsmångfald skapar ett antal möjligheter att bättre förstå programvarukvalitet och ger praktiska sätt att öka den.
Jag kände det på mig. Använd detta set-wise metrisk för att införa test uppsättning diameter, en mångfald metrisk som tillämpas på hela testet uppsättning, och visa hur denna metrisk kan användas för att skapa olika testuppsättningar REF.
Test Set Diameter: Quantifying the Diversity of Sets of Test Cases
{'venue': '2016 IEEE International Conference on Software Testing, Verification and Validation (ICST)', 'journal': '2016 IEEE International Conference on Software Testing, Verification and Validation (ICST)', 'mag_field_of_study': ['Computer Science']}