Återkommande neurala nätverk arkitekturer som kombinerar med uppmärksamhetsmekanism, eller neural uppmärksamhet modell, har visat lovande prestanda nyligen för uppgifterna inklusive taligenkänning, bildtextgenerering, visuella frågor svar och maskinöversättning. I detta dokument, neural uppmärksamhet modell tillämpas på två sekvens märkning uppgifter, dialog agera detektion och nyckelterm extraktion. I sekvensen märkning uppgifter, modellen indata är en sekvens, och utdata är etiketten på indatasekvensen. Den största svårigheten med sekvensmärkning är att när inmatningssekvensen är lång, kan den innehålla många bullriga eller irrelevanta delar. Om informationen i hela sekvensen behandlas lika kan den bullriga eller irrelevanta delen försämra klassificeringsprestandan. Uppmärksamhetsmekanismen är till hjälp för sekvensklassificeringsuppgiften eftersom den kan belysa viktig del av hela sekvensen för klassificeringsuppgiften. De experimentella resultaten visar att man med hjälp av uppmärksamhetsmekanismen uppnådde märkbara förbättringar i den sekvensbeteckningsuppgift som behandlas här. Rollerna i uppmärksamhetsmekanismen i uppgifterna analyseras och visualiseras ytterligare i detta dokument.
REF använde en variant av den uppmärksamhetsbaserade kodaren för uppgiften.
Neural Attention Models for Sequence Classification: Analysis and Application to Key Term Extraction and Dialogue Act Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}