Vi utmanar NLP-gemenskapen att delta i en storskalig, distribuerad insats för att designa och bygga resurser för att utveckla och utvärdera lösningar på nya och befintliga NLP-uppgifter i samband med att känna igen textdetaljer. Vi hävdar att den enda globala märkning med vilken RTE-exempel annoteras är otillräcklig för att effektivt utvärdera RTE-systemets prestanda; för att främja forskning om mindre, relaterade NLP-uppgifter, anser vi att mer detaljerad annotering och utvärdering behövs, och att denna insats kommer att gynna inte bara RTE-forskare, utan NLP-gemenskapen som helhet. Vi använder insikter från framgångsrika RTE-system för att föreslå en modell för att identifiera och kommentera textinferensfenomen i exempel på textingrepp, och vi presenterar resultaten av en pilotanmärkningsstudie som visar att denna modell är genomförbar och resultaten omedelbart användbara.
REF hävdar att en enda etikett (oavsett om den ingår eller inte) inte är tillräcklig för att effektivt utvärdera RTE-systemets prestanda och för att vägleda forskare.
“Ask Not What Textual Entailment Can Do for You...”
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}