Sekvens-till-sekvens modeller med uppmärksamhet har varit framgångsrika för en mängd olika NLP-problem, men deras hastighet inte skala väl för uppgifter med långa källsekvenser såsom dokumentsammanfattning. Vi föreslår en ny grov-till-fin uppmärksamhet modell som hierarkiskt läser ett dokument, med grov uppmärksamhet för att välja toppnivå bitar av text och fin uppmärksamhet för att läsa orden i de valda bitarna. Medan beräkning för utbildning standard uppmärksamhet modellerar skalar linjärt med källsekvens längd, vår metod skalor med antalet toppnivå bitar och kan hantera mycket längre sekvenser. Empiriskt, vi finner att medan grov-tofine uppmärksamhet modeller släpar efter state-of-art basics, vår metod uppnår önskad beteende glest att delta i undergrupper av dokumentet för generation.
REF koda dokumentet hierarkiskt och föreslå grov-till-fin uppmärksamhet för dekoder.
Coarse-to-Fine Attention Models for Document Summarization
{'venue': 'NFiS@EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}