Recurrent Neural Network (RNN) och en av dess specifika arkitekturer, Long Short-Term Memory (LSTM), har i stor utsträckning använts för sekvensmärkning. I detta dokument förbättrar vi först LSTM-baserad sekvensmärkning för att explicit modellera märkningsberoenden. Sedan föreslår vi ytterligare en förbättring för att införliva den globala informationen som spänner över hela indatasekvensen. Den senare föreslagna metoden, kodaren LSTM, kodar först in hela ingångssekvensen i en vektor med fast längd med kodaren LSTM, och använder sedan denna kodade vektor som det ursprungliga tillståndet för en annan LSTM för sekvensbeteckning. Genom att kombinera dessa metoder kan vi förutsäga etikettsekvensen med beaktande av etikettberoenden och information om hela indatasekvensen. I experimenten med en slot fyllning uppgift, som är en viktig del av naturligt språk förståelse, med hjälp av standard ATIS corpus, nådde vi den toppmoderna F 1 - score på 95,66%.
REF föreslog enkoder-märkning arkitektur med två LSTM som är kodare LSTM och etikett LSTM.
Leveraging Sentence-level Information with Encoder LSTM for Natural Language Understanding.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}