Vi undersöker verktyg för analys av Follow-The-Regularized-Leader (FTRL) och dubbla medelvärde algoritmer när regularizern (prox-funktion) väljs adaptivt baserat på data. Adaptivitet kan användas för att bevisa ånger gränser som håller på varje runda (snarare än en specifik final runda T ), och även möjliggör databeroende ånger gränser som i AdaGrad-stil algoritmer. Vi presenterar resultat från ett stort antal tidigare arbeten på ett enhetligt sätt, med hjälp av en modulanalys som isolerar de viktigaste argumenten i lättanvändbara lemmas. Våra resultat inkluderar den första helt allmänna analysen av FTRL-Proximal algoritm (en nära släkting till spegel nedstigning), stödja godtyckliga normer och icke-smooth regularizers.
Följ den regulariserade ledare (FTRL) typ algoritmer anpassa regulariseringen till observationer REF.
Analysis Techniques for Adaptive Online Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}