Vi presenterar en ny ämnesmodell som genererar dokument genom att ta ett ämne för en hel mening i taget, och generera orden i meningen med hjälp av en RNN dekoder som är beroende av ämnet i meningen. Vi hävdar att denna nya formalism kommer att hjälpa oss att inte bara visualisera och modellera den aktuella diskursstrukturen i ett dokument bättre, utan också potentiellt leda till mer tolkningsbara ämnen eftersom vi nu kan illustrera ämnen genom att ta prov på representativa meningar i stället för påse med ord eller fraser. Vi presenterar en variationell auto-encoder metod för lärande där vi använder en faktoriserad variationskodare som självständigt modellerar den bakre över aktuella blandning vektorer av dokument med hjälp av ett feedforward nätverk, och den bakre över ämnestilldelningar till meningar med hjälp av en RNN. Våra preliminära experiment på två olika dataset indikerar tidiga löften, men avslöjar också många utmaningar som återstår att ta itu med.
I ett uppföljningsarbete föreslår REF en ny sammanfattande modell som genererar sammanfattningar genom att ta ett ämne en mening i taget och sedan producera ord med hjälp av en RNN-dekoder som är villkorad på meningsämnet.
SenGen: Sentence Generating Neural Variational Topic Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}