Abstract-Trot de senaste framstegen i testgenerering, helt automatisk testning programvara förblir en dröm: I slutändan, alla genererade testinmatning beror på ett test oracle som bestämmer korrekthet, och, med undantag för generiska egenskaper som "programmet får inte krascha", sådana orakel kräver mänsklig input i en eller annan form. CrowdSourcing är en nyligen populär teknik för att automatisera beräkningar som inte kan utföras av maskiner, men bara av människor. Ett problem delas upp i små bitar, som sedan löses av en mängd användare på Internet. I detta papper undersöker vi om det är möjligt att utnyttja CrowdSourcing för att lösa oraklet problem: Vi producerar uppgifter som ber användare att utvärdera CrowdOraclesassersations som återspeglar det aktuella beteendet i programmet. Om publiken fastställer att ett påstående inte stämmer överens med det beteende som beskrivs i koddokumentationen, så har ett fel hittats. Våra experiment visar att CrowdOracles är en genomförbar lösning för att automatisera oraklet problem, men att tämja publiken för att få användbara resultat är en svår uppgift.
Pastore m.fl. REF föreslår att man samlar in märkningsuppgiften till en mängd användare på Internet för att märka testfallen.
CrowdOracles: Can the Crowd Solve the Oracle Problem?
{'venue': '2013 IEEE Sixth International Conference on Software Testing, Verification and Validation', 'journal': '2013 IEEE Sixth International Conference on Software Testing, Verification and Validation', 'mag_field_of_study': ['Computer Science']}