Crowd-sourcing har blivit ett populärt sätt att förvärva märkta data för en mängd olika uppgifter där människor är mer exakta än datorer, t.ex. märkning bilder, matchande objekt, eller analysera känslor. Men att förlita sig enbart på folkmassan är ofta opraktiskt även för dataset med tusentals objekt, på grund av tids- och kostnadsbegränsningar för att få mänsklig inmatning. I detta dokument föreslår vi algoritmer för att integrera maskininlärning i crowdsourced databaser, med målet att tillåta crowd-sourcing applikationer att skala, dvs. att hantera större datamängder till lägre kostnader. Den viktigaste observationen är att i många av ovanstående uppgifter kan människor och maskininlärningsalgoritmer komplettera varandra, eftersom människor ofta är mer exakta men långsamma och dyra, medan algoritmer oftast är mindre exakta, men snabbare och billigare. Baserat på denna observation presenterar vi två nya aktiva inlärningsalgoritmer för att kombinera människor och algoritmer tillsammans i en crowd-sourced databas. Våra algoritmer är baserade på teorin om icke-parametriska bootstrap, vilket gör våra resultat tillämpliga på en bred klass av maskininlärning modeller. Våra resultat, på tre verkliga dataset som samlats in med Amazons Mechanical Turk, och på 15 välkända UCI dataset, visar att våra metoder i genomsnitt ber människor att märka en till två storleksordningar färre objekt för att uppnå samma noggrannhet som baslinjen (som slumpmässigt väljer vilka objekt som ska märkas av publiken), och två till åtta gånger färre frågor än tidigare aktiva lärande program.
I REF studeras problemet med att bestämma vilka produkter som ska märkas, i syfte att förbättra den modell som används för aktivt lärande.
Active Learning for Crowd-Sourced Databases
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}