Klassiskt, tränings relationsextraktorer bygger på hög kvalitet, manuellt kommenterade träningsdata, som kan vara dyrt att få. För att minska denna kostnad har NLU-forskare övervägt två nya källor till billigare (men potentiellt lägre kvalitet) märkta data från fjärrövervakning och crowd sourcing. Det finns dock ingen studie som jämför dessa två källors relativa inverkan på precisionen och återkallandet av svar efter lärandet. För att fylla denna lucka studerar vi empiriskt hur de senaste teknikerna påverkas av att skala upp dessa två källor. Vi använder corpus storlekar på upp till 100 miljoner dokument och tiotusentals crowd-source märkta exempel. Våra experiment visar att en ökning av corpusstorleken för fjärrövervakning har en statistiskt signifikant, positiv inverkan på kvaliteten (F1-poäng). Däremot har feedback från människor en positiv och statistiskt signifikant, men lägre, inverkan på precision och återkallande.
REF visar att märkta data har en statistiskt signifikant men relativt liten inverkan på förbättringen av DS-utbildningsdatas kvalitet, samtidigt som en ökning av DS-kortus storlek har en mer betydande inverkan.
Big Data versus the Crowd: Looking for Relationships in All the Right Places
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}