I detta dokument föreslås en ny hierarkisk återkommande neural nätverk språkmodell (HRNNLM) för dokumentmodellering. Efter inrättandet av en RNN för att fånga samstämmigheten mellan meningar i ett dokument integrerar HRNNLM det som meningshistorik information i ordet nivå RNN att förutsäga ordet sekvens med kors-sentence kontextuell information. En tvåstegs utbildningsmetod är utformad, där språkmodeller på meningsnivå och ordnivå är ungefärliga för konvergensen i pipelinestil. I enlighet med standardscenariot för omordning av meningar har HRNNLM visat sig vara mer exakt när det gäller att modellera överensstämmelsen med meningen. Och på ordnivå, experimentella resultat indikerar också en betydande lägre modell perplexitet, följt av en praktisk bättre översättning resultat när tillämpas på en kinesisk-engelska dokumentöversättning omrankning uppgift.
Till exempel föreslår REF en hierarkisk återkommande neurala nätverk (HRNN) språkmodell för dokumentmodellering, bestående av en språkmodell på meningsnivå och ordnivå, och använder den föreslagna modellen för att modellera sammanhållen meningsnivå.
Hierarchical Recurrent Neural Network for Document Modeling
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}