Syftet är att öka generativa modeller med externt minne, vi tolkar utmatningen av en minnesmodul med stokastisk adressering som en villkorlig blandning distribution, där en läsoperation motsvarar provtagning en diskret minnesadress och hämta motsvarande innehåll från minnet. Detta perspektiv gör att vi kan tillämpa variationsinferens på minnesadressering, vilket möjliggör effektiv utbildning av minnesmodulen genom att använda målinformationen för att styra minneslookups. Stochastic adressering är särskilt lämplig för generativa modeller eftersom den naturligt uppmuntrar multimodalitet som är en framträdande aspekt av de flesta högdimensionella datauppsättningar. Genom att behandla den valda adressen som en latent variabel kan vi också kvantifiera den mängd information som erhållits med en minnesuppslagning och mäta hur minnesmodulen bidrar till den generativa processen. För att illustrera fördelarna med detta tillvägagångssätt införlivar vi det i en variantal autoencoder och tillämpar den resulterande modellen på uppgiften att generativt få-shot lärande. Intuitionen bakom denna arkitektur är att minnesmodulen kan välja en relevant mall ur minnet och den kontinuerliga delen av modellen kan koncentrera sig på modellering av återstående variationer. Vi visar empiriskt att vår modell kan identifiera och komma åt det relevanta minnesinnehållet även med hundratals osynliga Omniglotttecken i minnet.
REF tillämpar variationsinferens för minnesadressering, och behandlar minnesadressen som en latent variabel.
Variational Memory Addressing in Generative Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}