State-of-the-art faktum extraktion är kraftigt hämmas av återkallande, vilket visas av den senaste tidens prestanda i TAC Slot Fyllning. Vi isolerar denna minnesförlust för NE-slots genom att systematiskt analysera varje steg i slot-fyllningsledningen som ett filter över korrekta svar. Återkallelse är avgörande eftersom aldrig genererade kandidater aldrig kan återvinnas, medan precision alltid kan ökas i nedströms bearbetning. Vi tillhandahåller exakt, empirisk bekräftelse av tidigare hypoteserade källor för återkallande förlust i slot fyllning. Medan NE-typbegränsningar avsevärt minskar sökutrymmet med endast en mindre återkallelse straff, vi finner att 10% till 39% av slot fyllningar kommer att helt ignoreras av de flesta system. Ett av sex korrekta svar går förlorade om samreferens inte används, men detta kan oftast behållas genom enkla namnmatchningsregler.
REF analyserade källor till återkallningsförluster i dessa rörledningar.
Analysing recall loss in named entity slot filling
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}