Datan notation partisk finns i många situationer. Ofta kan det ignoreras som bara en annan komponent i bullergolvet. Det är dock särskilt vanligt i crowdsourcing-uppgifter och måste hanteras aktivt. Notationsfördomar på enskilda dataobjekt har studerats med avseende på datasvårighet, notatorfördomar etc., medan annotationsfördomar på satser av flera dataobjekt som samtidigt presenteras för annoterare inte har studerats. I detta dokument verifierar vi förekomsten av "in-batch annotation bias" mellan dataobjekt i samma sats. Vi föreslår en faktor graf baserad batch annotation modell för att kvantitativt fånga in-batch annotation partisk, och mäta fördomar under en crowdsourcing annotation process av olämpliga kommentarer i LinkedIn. Vi upptäcker att annoterare tenderar att göra polariserade anteckningar för hela batchen av dataobjekt i vår uppgift. Vi vidare utnyttja batch annotation modell för att föreslå en ny batch aktiv inlärning algoritm. Vi testar algoritmen på en riktig crowdsourcing-plattform och finner att den överträffar in-batch-naiva algoritmer.
Vårt senaste arbete REF överväger också en liknande inställning när dataobjekt är organiserade i omgångar; vi verifierar förekomsten av annotation bias orsakas av batching dataobjekt.
Leveraging In-Batch Annotation Bias for Crowdsourced Active Learning
{'venue': "WSDM '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}