Standarden återkommande neurala nätverk språkmodell (rnlm) genererar meningar ett ord i taget och fungerar inte från en explicit global mening representation. I detta arbete introducerar och studerar vi en rnn-baserad variantal autoencoder generative modell som innehåller distribuerade latenta representationer av hela meningar. Denna faktorisering gör det möjligt att explicit modellera holistiska egenskaper av meningar såsom stil, ämne, och hög nivå syntaktiska funktioner. Prover från föregående över dessa meningsrepresentationer producerar anmärkningsvärt olika och väl formade meningar genom enkel deterministisk avkodning. Genom att undersöka vägar genom detta latenta utrymme, kan vi generera sammanhängande nya meningar som interpolerar mellan kända meningar. Vi presenterar tekniker för att lösa det svåra inlärningsproblem som presenteras av denna modell, visar sin effektivitet i att imputera saknade ord, utforska många intressanta egenskaper hos modellens latent mening utrymme, och presentera negativa resultat på användningen av modellen i språkmodellering.
Bowman m.fl. REF föreslog en RNN-baserad variantal autoencoder generative modell för generisk meningsgenerering som kan generera meningar från godtyckliga provade vektorer.
Generating Sentences from a Continuous Space
{'venue': 'SIGNLL Conference on Computational Natural Language Learning (CONLL), 2016', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}