Djupt lärande kräver vanligtvis utbildning av en mycket kapabel arkitektur med hjälp av en stor datauppsättning. Många viktiga inlärningsproblem kräver dock en förmåga att dra giltiga slutsatser från en liten mängd data, och sådana problem utgör en särskild utmaning för djupt lärande. I detta avseende genomförs olika undersökningar om meta-lärande aktivt. Det senaste arbetet har föreslagit ett Memory Augmented Neural Network (MANN) för meta-learning. MANN är en implementation av en Neural Turing Machine (NTM) med förmågan att snabbt assimilera nya data i sitt minne, och använda dessa data för att göra exakta förutsägelser. I modeller som MANN är indataproven och deras etiketter från tidigare steg sammanbundna på samma minnesplatser. Detta leder ofta till minnesstörningar när man utför en uppgift eftersom dessa modeller måste hämta en funktion av en inmatning från en viss minnesplats och endast läsa den etikettinformation som är bunden till den platsen. I detta dokument försökte vi ta itu med denna fråga genom att presentera en mer robust MANN. Vi förnyade idén om meta-lärande och föreslog ett nytt minnesförstärkt neuralt nätverk genom att uttryckligen dela upp det externa minnet i funktions- och etikettminnen. Funktionsminnet används för att lagra funktionerna i inmatningsdataprover och etiketten minne lagrar sina etiketter. När man förutsäger etiketten för en given inmatning, använder alltså minnesförstärkt nätverk med separat funktion och etikettminnesenhet funktionens minnesenhet som referens för att extrahera den lagrade funktionen för inmatningen, och baserat på den funktionen, hämtar den indatans etikettinformation från etikettens minnesenhet. För att nätverket ska fungera inom detta ramverk utformas en ny minnesskrivarmodul för att koda in information i etikettminnet i enlighet med meta-learning-uppgiftsstrukturen. Här visar vi att det memory-augmented nätverket överträffar MANN med stor marginal i övervakade en-shot klassificering uppgifter med Omniglot och MNIST dataset.
Mureja m.fl. REF delade uttryckligen upp det externa minnet i funktions- och etikettminnen.
Meta-Learning via Feature-Label Memory Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}