Vi introducerar ett ramverk baserat på tvånivåprogrammering som förenar gradientbaserad hyperparameteroptimering och meta-learning. Vi visar att en ungefärlig version av binivåproblemet kan lösas genom att uttryckligen ta hänsyn till optimeringsdynamiken för det inre målet. Beroende på den specifika inställningen tar de yttre variablerna antingen betydelsen av hyperparametrar i ett övervakat inlärningsproblem eller parametrar för en meta-lärare. Vi tillhandahåller tillräckliga villkor under vilka lösningar på det ungefärliga problemet konvergerar till dem av det exakta problemet. Vi omedelbart vår strategi för meta-lärande i fallet med djupt lärande där representationsskikt behandlas som hyperparametrar som delas över en uppsättning träningsepisoder. I experiment, bekräftar vi våra teoretiska resultat, presenterar uppmuntrande resultat för få-shot lärande och kontrasterar bilevel strategi mot klassiska metoder för lärande-till-lära.
Nyligen utforskade REF tvånivåprogrammering för att förena gradientbaserad HO och meta-learning.
Bilevel Programming for Hyperparameter Optimization and Meta-Learning
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}