Vi strävar efter att designa adaptiva online-lärande algoritmer som drar nytta av någon speciell struktur som kan vara närvarande i inlärningsuppgiften till hands, med så lite manuell inställning av användaren som möjligt. Ett grundläggande hinder som kommer upp i utformningen av sådana adaptiva algoritmer är att kalibrera en så kallad steg-storlek eller inlärningshastighet hyperparameter beroende på varians, gradient normer, etc. En ny teknik lovar att övervinna denna svårighet genom att bibehålla flera inlärningsfrekvenser parallellt. Denna teknik har tillämpats i MetaGrad algoritm för online konvex optimering och Squint algoritm för förutsägelse med expertråd. I båda fallen måste användaren dock i förväg tillhandahålla en Lipschitz-hyperparameter som begränsar lutningarnas norm. Även om denna hyperparameter vanligtvis inte är tillgänglig i förväg, stämmer den rätt är avgörande: om den är inställd för liten, kan metoderna misslyckas helt; men om det tas för stor, prestanda försämras avsevärt. I det nuvarande arbetet tar vi bort denna Lipschitz hyperparameter genom att designa nya versioner av MetaGrad och Squint som anpassar sig till sitt optimala värde automatiskt. Vi uppnår detta genom att dynamiskt uppdatera den uppsättning aktiva inlärningsfrekvenser. För MetaGrad förbättrar vi ytterligare beräkningseffektiviteten i hanteringen av begränsningar på området för förutsägelse, och vi tar bort behovet av att ange antalet rundor i förväg. 1. Vad är det för fel på dig? Vi missbrukar terminologin något här, eftersom standarddefinitionen av en Lipschitz konstant kräver en övre gräns på lutningsnormerna för alla parametrar w, inte bara för w = wt, och kan därför vara större. Kombination (55)-(57) ger önskat resultat.
I online konvex optimering, anpassningsförmåga till den globala Lipschitz konstant av förlustfunktionen föreslogs nyligen av REF.
Lipschitz Adaptivity with Multiple Learning Rates in Online Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}