I online konvex optimering är det välkänt att vissa underklasser av objektiva funktioner är mycket lättare än godtyckliga konvexa funktioner. Vi är intresserade av att utforma adaptiva metoder som automatiskt kan få snabba priser i så många sådana underklasser som möjligt, utan någon manuell inställning. Tidigare adaptiva metoder kan interpolera mellan starkt konvexa och allmänna konvexa funktioner. Vi presenterar en ny metod, MetaGrad, som anpassar sig till en mycket bredare klass av funktioner, inklusive expconcave och starkt konvexa funktioner, men också olika typer av stokastiska och icke-stokastiska funktioner utan krökning. Till exempel kan Meta-Grad uppnå logaritmisk ånger över den oregulariserade gångjärnsförlusten, även om den inte har någon krökning, om uppgifterna kommer från en gynnsam sannolikhetsfördelning. MetaGrads huvudfunktion är att det samtidigt tar hänsyn till flera inlärningsfrekvenser. Till skillnad från alla tidigare metoder med bevisbara ångergarantier, minskar emellertid inlärningsfrekvensen inte monotont över tiden och är inte avstämda på grundval av en teoretiskt bundet av ånger. I stället viktas de direkt proportionellt mot deras empiriska prestanda på data med hjälp av en lutad exponentiell viktmasteralgoritm.
Erven och Koolen REF föreslog MetaGrad-metoden, som har inlärningshastigheten som inte monotont minskar över tid och anpassar sig till olika typer av slumpmässiga och icke slumpmässiga funktioner.
MetaGrad: Multiple Learning Rates in Online Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}