Många maskininlärningsproblem involverar iterativt och alternativt optimera olika uppgiftsmål med avseende på olika uppsättningar av parametrar. Lämplig planering av optimeringen av ett uppgiftsmål eller en uppsättning parametrar är vanligtvis avgörande för konvergensens kvalitet. I denna uppsats presenterar vi AutoLoss, ett meta-lärande ramverk som automatiskt lär sig och bestämmer optimeringsschemat. AutoLoss ger ett generiskt sätt att representera och lära sig det diskreta optimeringsschemat från metadata, möjliggör ett dynamiskt och datadrivet schema i ML-problem som innebär alternerande uppdateringar av olika parametrar eller från olika förlustmål. Vi tillämpar AutoLoss på fyra ML uppgifter: d-ary quadratic regression, klassificering med hjälp av en multi-lager perceptron (MLP), bildgenerering med GANs, och multi-task neural maskinöversättning (NMT). Vi visar att AutoLoss controller kan fånga distributionen av bättre optimeringsscheman som resulterar i högre kvalitet på konvergens på alla fyra uppgifterna. Den utbildade AutoLoss-regulatorn är allmängiltig - den kan vägleda och förbättra inlärningen av en ny uppgiftsmodell med olika specifikationer, eller på olika datauppsättningar.
Xu et al., REF lärde sig ett diskret optimeringsschema som växlar mellan olika förlustfunktioner vid olika tidpunkter.
AutoLoss: Learning Discrete Schedules for Alternate Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}