Den senaste tidens framsteg när det gäller neural variation har gett upphov till en renässans i djupa latenta variabla modeller. I det här dokumentet introducerar vi en generisk variantal inference ram för generativa och villkorliga modeller av text. Medan traditionella variationsmetoder härleder en analytisk approximation för de svåråtkomliga fördelningarna över latenta variabler, här konstruerar vi ett inferensnätverk som är betingat av den diskreta textinmatningen för att ge variationsfördelningen. Vi validerar detta ramverk på två mycket olika textmodelleringsprogram, generativ dokumentmodellering och övervakade frågesvar. Vår neural variationella dokumentmodell kombinerar en kontinuerlig stokastisk dokumentrepresentation med en bagof-words generative modell och uppnår de lägsta rapporterade perplexiteterna på två standardtestkorpora. Den neurala svar urval modell använder en stokastisk representation lager inom en uppmärksamhet mekanism för att extrahera semantik mellan en fråga och svar par. När det gäller två frågor som besvarar riktmärken överskrider denna modell alla tidigare offentliggjorda riktmärken.
Den Neurala Varial Document Model REF tillämpar ramverket för VAE för dokumentmodellering.
Neural Variational Inference for Text Processing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}