En viktig forskningsriktning inom maskininlärning har centrerat sig kring att utveckla meta-lärande algoritmer för att ta itu med få-shot lärande. En särskilt framgångsrik algoritm har varit Model Agnostic Meta-Learning (MAML), en metod som består av två optimeringsloopar, med den yttre loopen hitta en meta-inialisering, från vilken den inre loopen kan effektivt lära sig nya uppgifter. Trots MAML popularitet, återstår en grundläggande öppen fråga - är effektiviteten av MAML på grund av att meta-initializationen är förberedd för snabb inlärning (stora, effektiva förändringar i representationerna) eller på grund av funktionen återanvändning, med meta initiering redan innehåller högkvalitativa funktioner? Vi undersöker denna fråga, genom ablation studier och analys av latenta representationer, finna att funktionen återanvändning är den dominerande faktorn. Detta leder till ANIL-algoritmen (nästan ingen Innerloop), en förenkling av MAML där vi tar bort den inre loopen för alla utom (task-specifika) chefen för ett MAML-utbildat nätverk. ANIL matchar MAML:s prestanda på referensbildsklassificering med få bilder och RL och erbjuder beräkningsförbättringar jämfört med MAML. Vi studerar vidare de exakta bidragen från nätverkets huvud och kropp, vilket visar att prestandan på testuppgifterna helt bestäms av kvaliteten på de inlärda funktionerna, och vi kan ta bort även chefen för nätverket (NIL-algoritmen). Vi avslutar med en diskussion om frågan om snabb inlärning vs funktion återanvändning för meta-lärande algoritmer mer allmänt.
I REF analyserade författarna om MAML:s effektivitet beror på snabb inlärning av varje uppgift eller återanvändning av de högkvalitativa funktionerna.
Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}