Variance minskning har uppstått under de senaste åren som en stark konkurrent till stokastisk lutning nedstigning i icke-konvexa problem, vilket ger de första algoritmerna för att förbättra vid konvergerande hastighet av stokastisk lutning nedstigning för att hitta första ordningen kritiska punkter. Varierande reduktionsmetoder kräver dock vanligtvis noggrant avstämda inlärningsfrekvenser och villighet att använda överdrivet stora "mega-batcher" för att uppnå sina förbättrade resultat. Vi presenterar en ny variansreduktionsalgoritm, Storm, som inte kräver några satser och använder sig av adaptiva inlärningshastigheter, vilket möjliggör enklare genomförande och mindre inställning av hyperparametrar. Vår teknik för att ta bort satser använder en variant av momentum för att uppnå variansreduktion i icke-konvex optimering. På släta förluster F, Storm finner en punkt ) i T iterationer med σ 2 varians i gradienterna, matchar den optimala hastigheten men utan att kräva kunskap om σ.
I den icke-konvexa inställningen använder STORM REF ) en variant av momentum för variansreduktion.
Momentum-Based Variance Reduction in Non-Convex SGD
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}