Dubbelriktade LSTMs är ett kraftfullt verktyg för textrepresentation. Å andra sidan har det visat sig att de har olika begränsningar på grund av sin sekventiella karaktär. Vi undersöker en alternativ LSTM-struktur för kodning av text, som består av ett parallellt tillstånd för varje ord. Återkommande steg används för att utföra lokalt och globalt informationsutbyte mellan ord samtidigt, snarare än inkrementell läsning av en sekvens av ord. Resultaten av olika klassificerings- och sekvensmärkningsriktmärken visar att den föreslagna modellen har en stark representationsstyrka, vilket ger mycket konkurrenskraftiga resultat jämfört med staplade BiLSTM-modeller med liknande parameternummer.
Ref föreslår en meningsstate LSTM för textrepresentation.
Sentence-State LSTM for Text Representation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}