Representation och inlärning av allmängiltig kunskap är ett av de grundläggande problemen i strävan att möjliggöra djup språkförståelse. Denna fråga är särskilt utmanande för att förstå tillfälliga och korrelationella relationer mellan händelser. Även om detta ämne har rönt stort intresse för NLP-samhället har forskningen hindrats av bristen på en lämplig utvärderingsram. I detta dokument försöker man ta itu med detta problem med ett nytt ramverk för att utvärdera sagoförståelse och manusinlärning: "Story Cloze Test". Detta test kräver ett system för att välja rätt slut på en fyra-sentens berättelse. Vi skapade en ny corpus av 50k fem-sentence commonsense berättelser, ROCStories, för att möjliggöra denna utvärdering. Denna corpus är unik på två sätt: (1) den fångar en rik uppsättning av kausala och tidsmässiga allmängiltiga relationer mellan dagliga händelser, och (2) det är en hög kvalitet samling av vardagen berättelser som också kan användas för historia generation. Experimentell utvärdering visar att en mängd baslinjer och toppmoderna modeller baserade på ytlig språkförståelse kämpar för att uppnå en hög poäng på Story Cloze Test. Vi diskuterar dessa implikationer för manus och sagoinlärning, och ger förslag på djupare språkförståelse.
Art-of-the art story kloze test tekniker använder en kombination av ord inbäddningar, känsloanalys och stilistiska funktioner REF ).
A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}