I detta arbete utforskar vi djupa generativa textmodeller där den latenta representationen av ett dokument i sig är hämtad från en diskret språkmodellfördelning. Vi formulerar en variationell auto-encoder för slutledning i denna modell och tillämpa den på uppgiften att komprimera meningar. I detta program den generativa modellen drar först en latent sammanfattning mening från en bakgrund språk modell, och sedan drar den observerade meningen villkorad på denna latent sammanfattning. I vår empiriska utvärdering visar vi att generativa formuleringar av både abstrakt och extraktiv kompression ger toppmoderna resultat när de tränas på en stor mängd övervakade data. Vidare utforskar vi halvövervakade komprimeringsscenarier där vi visar att det är möjligt att uppnå prestanda konkurrenskraftiga med tidigare föreslagna övervakade modeller samtidigt som vi utbildar oss på en bråkdel av de data som övervakas.
REF anpassar en variantal auto-encoder (VAE) med en latent språkmodell, som strävar efter att hålla kompressionsprov för att nära likna naturliga meningar.
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}