Den delade uppgiften LSDSem'17 är Story Cloze Test, en ny utvärdering för sagoförståelse och manusinlärning. Detta test ger ett system med en fyra-sentens berättelse och två möjliga slut, och systemet måste välja rätt slut på berättelsen. Framgångsrik berättande förståelse (närmare till mänsklig prestanda på 100%) kräver system för att länka olika nivåer av semantik till allmängiltig kunskap. Totalt åtta system deltog i den gemensamma uppgiften, med en mängd olika tillvägagångssätt inklusive end-to-end neurala nätverk, funktionsbaserade regressionsmodeller, och regelbaserade metoder. Det system som har den högsta prestandan uppnår en noggrannhet på 75,2 %, vilket är en avsevärd förbättring jämfört med den senaste tekniken.
I kontrast, Story Cloze Test dataset REF utvärderar förmågan att berättelse förståelse och skript lärande, där uppgiften kräver att välja eller generera en rimlig mening för att slutföra berättelsen sammanhang.
LSDSem 2017 Shared Task: The Story Cloze Test
{'venue': 'LSDSem@EACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}