I detta dokument föreslår vi TopicRNN, en återkommande neurala nätverk (RNN)-baserad språkmodell utformad för att direkt fånga den globala semantiska betydelse som relaterar ord i ett dokument via latenta ämnen. På grund av deras sekventiella natur är RNN bra på att fånga den lokala strukturen av en ordsekvens - både semantisk och syntaktisk - men kan möta svårigheter att komma ihåg långvariga beroenden. Intuitivt är dessa långvariga beroenden av semantisk natur. I motsats, latent ämne modeller kan fånga den globala semantiska strukturen i ett dokument men inte redogöra för ordbeställning. Den föreslagna TopicRNN modellen integrerar fördelarna med RNN och latenta ämnesmodeller: den fångar lokala (syntaktiska) beroenden med hjälp av en RNN och globala (semantiska) beroenden med hjälp av latenta ämnen. Till skillnad från tidigare arbete med kontextuell RNN språkmodellering, är vår modell inlärd endto-end. Empiriska resultat på ordförutsägelse visar att TopicRNN överträffar befintliga kontextuella RNN-baslinjevärden. Dessutom kan TopicRNN användas som en oövervakad funktionsutdragare för dokument. Vi gör detta för känsloanalys på IMDB film recension dataset och rapportera en felfrekvens på 6,28%. Detta är jämförbart med den senaste 5,91 % som följer av ett halvövervakat tillvägagångssätt. Slutligen ger TopicRNN också förnuftiga ämnen, vilket gör det till ett användbart alternativ till dokumentmodeller som latent Dirichlet allokering.
TopicRNN som föreslagits av REF integrerade fördelarna med RNN och latenta ämnesmodeller för att fånga långdistans semantiskt beroende.
TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}