I detta arbete studerar vi generalisering av neurala nätverk i gradientbaserad metalearning genom att analysera olika egenskaper hos de objektiva landskapen. Vi demonstrerar experimentellt att de meta-testlösningar som erhålls efter att modellens meta-train-lösning har anpassats till nya uppgifter genom få steg av gradientbaserad finjustering, blir smickrande, lägre i förlust och längre bort från meta-train-lösningen. Vi visar också att dessa meta-test lösningar blir smickrande även när generaliseringen börjar brytas ned, vilket ger ett experimentellt bevis mot korrelationen mellan generalisering och platta minima i paradigmet för gradientbaserad meta-leaning. Dessutom ger vi empiriska belägg för att generalisering till nya uppgifter är korrelerad med samstämmigheten mellan deras anpassningsbanor i parameterutrymme, mätt som den genomsnittliga cosinuslikheten mellan uppgiftsspecifika riktningsriktningar, med utgångspunkt i samma meta-tåglösning. Vi visar också att samstämmighet av meta-test gradienter, mätt med den genomsnittliga inre produkten mellan de uppgiftsspecifika gradientvektorer som utvärderas vid meta-train lösning, också korreleras med generalisering. Baserat på dessa observationer, föreslår vi en ny regularizer för MAML och ger experimentella bevis för dess effektivitet.
REF tittar på generalisering i gradientbaserad meta-lärande och de visar experimentellt att generalisering och breda minima inte alltid är korrelerade.
Towards Understanding Generalization in Gradient-Based Meta-Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}