Adaptiva gradientmetoder har nyligen blivit mycket populära, särskilt som de har visat sig vara användbara i utbildningen av djupa neurala nätverk. I detta papper har vi analyserat RMSProp, ursprungligen föreslagits för utbildning av djupa neurala nätverk, i samband med online konvex optimering och visa В T - type ånger gränser. Dessutom föreslår vi två varianter SC-Adagrad och SC-RMSProp för vilka vi visar logaritmisk ånger gräns för starkt konvexa funktioner. Slutligen visar vi i experimenten att dessa nya varianter överträffar andra adaptiva gradienttekniker eller stokastisk gradient nedstigning i optimeringen av starkt konvexa funktioner samt i träning av djupa neurala nätverk.
Två varianter SC-AdaGrad och SC-RmsProp föreslogs för starkt konvexa mål med logaritmiska ångergränser REF.
Variants of RMSProp and Adagrad with Logarithmic Regret Bounds
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}