När det gäller storskaliga distribuerade system är det särskilt svårt att experimentera. De studerade systemen är komplexa, ofta icke-deterministiska och opålitliga, programvara plågas av buggar, medan experimentflödena är oklara och svåra att reproducera. Dessa hinder fick många oberoende forskare att utforma verktyg för att kontrollera sina experiment, öka produktiviteten och förbättra kvaliteten på vetenskapliga resultat. Trots mycket forskning på området distribuerade system experimenthantering, kräver den nuvarande fragmenteringen av insatserna en allmän analys. Vi föreslår därför att man bygger upp en ram för att upptäcka brister i dessa verktyg, möjliggöra meningsfulla jämförelser mellan dem och hitta rekommendationer för framtida förbättringar och forskning. Bidraget i detta dokument är tvåfaldigt. För det första tillhandahåller vi en omfattande lista över funktioner som erbjuds av allmänna experimenthanteringsverktyg avsedda för distribuerad systemforskning på verkliga plattformar. Vi använder den sedan för att bedöma befintliga lösningar och jämföra dem, och skisserar möjliga framtida vägar för förbättringar.
I jämförelsen övervägde vi en omfattande lista över funktioner som kan användas för att jämföra försökssystemen REF.
A survey of general-purpose experiment management tools for distributed systems
{'venue': 'Future Gener. Comput. Syst.', 'journal': 'Future Gener. Comput. Syst.', 'mag_field_of_study': ['Computer Science']}