Recurrent Neural Networks (RNN) har fått utmärkta resultat i många naturliga språkbearbetning (NLP) uppgifter. Att förstå och tolka källan till denna framgång är dock fortfarande en utmaning. I detta dokument föreslår vi Recurrent Memory Network (RMN), en ny RNN-arkitektur, som inte bara förstärker kraften i RNN utan också underlättar vår förståelse av dess interna funktion och gör det möjligt för oss att upptäcka underliggande mönster i data. Vi visar kraften i RMN på språkmodellering och slutförande av meningar. På språkmodellering överträffar RMN nätverket Long Short-Term Memory (LSTM) på tre stora tyska, italienska och engelska dataset. Dessutom utför vi en fördjupad analys av olika språkliga dimensioner som RMN fångar. På Sentence Completing Challenge, för vilken det är viktigt att fånga mening samstämmighet, vår RMN får 69,2% noggrannhet, överträffar den tidigare toppmoderna med en stor marginal.
REF föreslog återkommande minnesnätverk, som lade till minnesblock till RNN, och gjorde det möjligt för oss att tolka resultaten och upptäcka underliggande beroenden som finns i data.
Recurrent Memory Network for Language Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}