Vissa komplexa problem, såsom bildmärkning och bearbetning av naturligt språk, är mycket utmanande för datorer, där även toppmodern teknik ännu kan ge tillfredsställande noggrannhet. I stället för att enbart förlita oss på att utveckla nya och bättre algoritmer för att hantera sådana uppgifter, vänder vi oss därför till crowdsourcing-lösningen - att anställa mänskligt deltagande - för att avhjälpa bristen på nuvarande teknik. Crowdsourcing är ett bra komplement till många datoruppgifter. Ett komplext arbete kan delas in i datororienterade uppgifter och mänskliga-orienterade uppgifter, som sedan tilldelas maskiner respektive människor. För att utnyttja kraften i crowdsourcing designar och implementerar vi ett Crowdsourcing Data Analytics System, CDAS. CDAS är ett ramverk som är utformat för att stödja spridning av olika crowdsourcing-tillämpningar. Den centrala delen av CDAS är en kvalitetskänslig svarsmodell som vägleder crowdsourcing-motorn att bearbeta och övervaka de mänskliga uppgifterna. I detta dokument introducerar vi principerna för vår kvalitetskänsliga modell. För att tillfredsställa användarens krav på noggrannhet styr modellen crowdsourcing frågemotorn för design och bearbetning av motsvarande crowdsourcing jobb. Det ger en uppskattad noggrannhet för varje genererat resultat baserat på de mänskliga arbetarnas historiska prestationer. Vid kontroll av resultatets kvalitet använder modellen en onlinestrategi för att minska väntetiden. För att visa modellens effektivitet genomför och distribuerar vi två analysjobb på CDAS, ett jobb med twitterkänslor och ett jobb med bildmärkning. Vi använder riktiga Twitter och Flickr data som våra frågor respektive. Vi jämför våra metoder med toppmoderna klassificerings- och bildanmärkningstekniker. Resultaten visar att de mänskliga medhjälpande metoderna verkligen kan uppnå en mycket högre noggrannhet. Genom att inbädda kvalitetskänslig modell i crowdsourcing frågemotor, minskar vi effektivt bearbetningskostnaden samtidigt som den erforderliga frågesvar kvalitet.
Till exempel föreslår REF en kvalitetskänslig svarsmodell för att tillfredsställa användarens erforderliga noggrannhet genom att vägleda crowdsourcing frågemotorn att bearbeta och övervaka mänskliga uppgifter som kan ge en uppskattad noggrannhet för varje genererat resultat.
CDAS: A Crowdsourcing Data Analytics System
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}