Recurrent neural network language models (RNNLM) har nyligen visat stor potential i modellering långsiktiga beroenden för NLP problem, allt från taligenkänning till maskinöversättning. I detta arbete föreslår vi metoder för att konditionera RNNLMs på extern sida information, t.ex. metadata såsom sökord, beskrivning, dokumenttitel eller ämnesrubrik. Våra experiment visar konsekventa förbättringar av RNNLMs med hjälp av sidoinformation över baslinjerna för två olika datauppsättningar och genrer på två språk. Intressant nog fann vi att sidoinformation på ett främmande språk kan vara till stor nytta när det gäller att modellera texter på ett annat språk, vilket fungerar som en form av flerspråkig språkmodellering.
REF föreslog att de återkommande neurala nätverksspråkmodellerna skulle konditioneras på metadata, såsom dokumenttitlar, författarskap och tidsstämpel.
Incorporating Side Information into Recurrent Neural Network Language Models
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}