Vi föreslår en Topic Compositional Neural Language Model (TCNLM), en ny metod utformad för att samtidigt fånga både den globala semantiska betydelsen och den lokala ordföljdsstrukturen i ett dokument. TC-NLM lär sig den globala semantiska samstämmigheten av ett dokument via en neural ämnesmodell, och sannolikheten för varje inlärd latent ämne används ytterligare för att bygga en mixing-of-Experts (MoE) språkmodell, där varje expert (motsvarande ett ämne) är en återkommande neurala nätverk (RNN) som står för att lära sig den lokala strukturen av en ordsekvens. För att effektivt träna MoE-modellen tillämpas en matrisfaktoriseringsmetod, genom att utvidga varje viktmatris i RNN till att vara en ensemble av ämnesberoende viktmatriser. Den grad i vilken varje medlem av ensemblen används är knuten till den dokumentberoende sannolikheten för motsvarande ämnen. Experimentella resultat på flera corpora visar att det föreslagna tillvägagångssättet överträffar både en renodlad RNN-baserad modell och andra ämnesstyrda språkmodeller. Dessutom ger vår modell förnuftiga ämnen, och har också kapacitet att generera meningsfulla meningar beroende på givna ämnen.
REF föreslår en modell som kan fånga både den globala semantiska betydelsen och den lokala ordordningsstrukturen i ett dokument genom att kombinera en neural ämnesmodell med en mixing-of-Experts språkmodell.
Topic Compositional Neural Language Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}