Att lära sig är ett kraftfullt paradigm för att göra det möjligt för modeller att lära sig mer av data på ett effektivare och effektivare sätt. En populär metod för meta-lärande är att träna en återkommande modell för att läsa i ett träningsdataset som ingång och utgång parametrarna för en lärd modell, eller utdataprognoser för nya testingångar. Alternativt syftar en nyare strategi för meta-lärande till att förvärva djupa representationer som effektivt kan finjusteras, via standard lutning nedstigning, till nya uppgifter. I detta dokument anser vi att meta-lärandet är ett problem ur ett universellt perspektiv, genom att formalisera begreppet inlärningsalgoritm approximation och jämföra de ovannämnda återkommande modellernas uttryckskraft med de nyare tillvägagångssätt som inbäddade lutning nedstigning i meta-läraren. I synnerhet försöker vi svara på följande fråga: Har djup representation kombinerad med standard lutning nedstigning tillräcklig kapacitet för att approximera någon inlärningsalgoritm? Vi finner att detta verkligen är sant, och ytterligare finna, i våra experiment, att gradient-baserad meta-lärande konsekvent leder till lärande strategier som generaliserar mer allmänt jämfört med dem som representeras av återkommande modeller. Rl2: Snabb förstärkning lärande via långsam förstärkning lärande. ArXiv preprint arXiv:1611.02779, 2016. Chelsea Finn, Pieter Abbeel och Sergey Levine. Modell-agnostiskt meta-lärande för snabb anpassning av djupa nätverk.. En-shot visuell imitation lärande via meta-learning. Konferens om robotinlärning (CRL), 2017b. Ken-Ichi Funahashi. På den ungefärliga förverkligandet av kontinuerliga kartläggningar av neurala nätverk. Neurala nätverk, 1989.
Vissa fördelar med gradient baserade metainlärare har också diskuterats i REF.
Meta-Learning and Universality: Deep Representations and Gradient Descent can Approximate any Learning Algorithm
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}