I detta dokument föreslås en ny hierarkisk återkommande neural nätverk språkmodell (HRNNLM) för dokumentmodellering. Efter inrättandet av en RNN för att fånga samstämmigheten mellan meningar i ett dokument integrerar HRNNLM det som meningshistorik information i ordet nivå RNN att förutsäga ordet sekvens med kors-sentence kontextuell information. En tvåstegs utbildningsmetod är utformad, där språkmodeller på meningsnivå och ordnivå är ungefärliga för konvergensen i pipelinestil. I enlighet med standardscenariot för omordning av meningar har HRNNLM visat sig vara mer exakt när det gäller att modellera överensstämmelsen med meningen. Och på ordnivå, experimentella resultat indikerar också en betydande lägre modell perplexitet, följt av en praktisk bättre översättning resultat när tillämpas på en kinesisk-engelska dokumentöversättning omrankning uppgift.
REF införde nyligen en dokument-nivå språkmodell, kallad hierarkisk återkommande neural nätverk språkmodell (HRNNLM).
Hierarchical Recurrent Neural Network for Document Modeling
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}