I denna uppsats studerar vi konvergensteorin för en klass av gradient-baserade modell-agnostic Meta-Learning (MAML) metoder och karakteriserar deras övergripande beräknings komplexitet samt deras bästa uppnåeliga nivå av noggrannhet i termer av gradient norm för icke konvexa förlustfunktioner. I synnerhet börjar vi med MAML algoritmen och dess första order approximation (FO-MAML) och belyser de utmaningar som uppstår i deras analys. Genom att övervinna dessa utmaningar ger vi inte bara de första teoretiska garantierna för MAML och FO-MAML i icke konvexa inställningar, utan vi svarar också på några av de obesvarade frågorna för genomförandet av dessa algoritmer, inklusive hur man väljer sin inlärningshastighet (stegstorlek) och batchstorleken för både uppgifter och datauppsättningar som motsvarar uppgifter. I synnerhet visar vi att MAML kan hitta en - första ordningen stationär punkt för någon efter som mest O(1/ 2 ) iterationer medan kostnaden för varje iteration är O( d 2 ), där d är problemdimensionen. Vi visar vidare att FO-MAML minskar kostnaden per iteration av MAML till O(d), men, till skillnad från MAML, dess lösning kan inte nå någon liten önskad nivå av noggrannhet. Vi föreslår vidare en ny variant av MAML-algoritmen Hessian-free MAML (HF-MAML) som bevarar alla teoretiska garantier för MAML, samtidigt som dess beräkningskostnader per iteration från O(d 2 ) till O(d).
REF tillhandahöll nyligen konvergensgarantier för MAML till ungefärliga första ordningens stationära punkter för icke konvexa förlustytor, enligt vissa antaganden om tillgången till och fördelningen av data.
On the Convergence Theory of Gradient-Based Model-Agnostic Meta-Learning Algorithms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}