Den stokastiska sammansättning optimering föreslås nyligen av Wang et al. [2014] minimerar målet med kompositionsförväntningsformen: Den sammanfattar många viktiga tillämpningar inom maskininlärning, statistik och ekonomi. I detta papper, vi anser det ändliga-summan scenario för komposition optimering: Vi föreslår två algoritmer för att lösa detta problem genom att kombinera den stokastiska komposition lutning nedstigning (SCGD) och den stokastiska variansen reducerad lutning (SVRG) teknik. En konstant linjär konvergenshastighet bevisas för starkt konvex optimering, vilket avsevärt förbättrar den sublinjära hastigheten O(K −0,8 ) av den mest kända algoritmen.
Dessutom Lian et al. REF tillämpade först den SVRG-baserade metoden för stokastisk kompositionsoptimering och erhöll en linjär konvergenshastighet.
Finite-sum Composition Optimization via Variance Reduced Gradient Descent
{'venue': 'AISTATS 2017', 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Computer Science', 'Mathematics']}