Minnesenheter har i stor utsträckning använts för att berika kapaciteten hos djupa nätverk för att fånga långsiktiga beroenden i resonemang och förutsägelser uppgifter, men det finns få undersökningar på djupa generativa modeller (DGMs) som är bra på att härleda hög nivå invarianta representationer från omärkta data. Detta dokument presenterar en djup generativ modell med ett eventuellt stort externt minne och en uppmärksamhetsmekanism för att fånga den lokala detaljinformation som ofta går förlorad i den nedifrån-och-upp abstraktionsprocessen i representationsinlärning. Genom att anta en smidig uppmärksamhet modell, hela nätverket utbildas end-to-end genom att optimera en variationsbunden gräns av datasannolikhet via auto-encoding variational Bayesian metoder, där ett asymmetriskt igenkänning nätverk lärs gemensamt att härleda hög nivå invariant representationer. Den asymmetriska arkitekturen kan minska konkurrensen mellan bottom-up invariant funktionsextraktion och top-down generation av exempeldetaljer. Våra experiment på flera datauppsättningar visar att minne kan avsevärt öka DGM:s prestanda på olika uppgifter, inklusive densitetsuppskattning, bildgenerering och saknad värdeimputation, och DGM:s med minne kan uppnå toppmoderna kvantitativa resultat.
MEM-VAE REF utnyttjar ett externt minne och en uppmärksamhetsmekanism för att koda och hämta den detaljerade information som gått förlorad i erkännandemodellen för att förbättra DGM.
Learning to Generate with Memory
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}