Att tolka en webbsidas semantiska struktur är en viktig del av uthämtningen av webbinformation. Framgångsrika extraktionsalgoritmer kräver vanligtvis storskaliga utbildnings- och utvärderingsdatauppsättningar, som är svåra att förvärva. Nyligen har crowdsourcing visat sig vara en effektiv metod för att samla in storskaliga utbildningsdata inom områden som inte kräver mycket domänkunskap. För mer komplexa områden har forskare föreslagit sofistikerade kvalitetskontrollmekanismer för att replikera uppgifter på parallella eller sekventiella sätt och sedan aggregera svar från flera arbetstagare. Konventionella metoder för integration av noteringar sätter ofta större tillit till de arbetstagare som har höga historiska prestationer, vilket innebär att de kallas prestandabaserade metoder. Nyligen har Rzeszotarski och Kittur visat att beteendemässiga funktioner också är starkt korrelerade med annotering kvalitet i flera crowdsourcing applikationer. I den här artikeln presenterar vi ett nytt crowdsourcing system, som heter Wernicke, för att tillhandahålla anteckningar för webbinformationsutdrag. Wernicke samlar en bred uppsättning beteendemässiga funktioner och, baserat på dessa funktioner, förutsäger kommenterande kvalitet för en utmanande uppgift domän: kommenterande webbsida struktur. Vi utvärderar effektiviteten av kvalitetskontroll med hjälp av beteendefunktioner genom en fallstudie där 32 arbetstagare kommentera 200 Q&A-webbsidor från fem populära webbplatser. När vi gör det, upptäcker vi flera saker: (1) Många beteendemässiga egenskaper är betydande prediktorer för crowdsourcing kvalitet. (2) Den beteende-feature-baserade metoden överträffar prestanda-baserade metoder i återkallande förutsägelse, samtidigt som den utför lika med precision förutsägelse. Dessutom, med hjälp av beteendemässiga funktioner är mindre sårbart för kallstartsproblem, och motsvarande förutsägelse modell är mer generalizable för att förutsäga återkallande än precision för cross-website kvalitetsanalys.
Han och Al. REF presenterade ett nytt crowdsoucing system för att tillhandahålla annoteringar för webbinformation utvinning, som kunde samla en stor uppsättning beteendemässiga funktioner och förutsäga annotation kvalitet för varje arbetare för att kommentera webbsida struktur.
Crowdsourcing Human Annotation on Web Page Structure: Infrastructure Design and Behavior-Based Quality Control
{'venue': 'TIST', 'journal': None, 'mag_field_of_study': ['Computer Science']}