En av de viktigaste frågorna i stokastisk lutning nedstigning (SGD) metoder är hur man väljer en lämplig stegstorlek när du kör algoritmen. Eftersom den traditionella linjesökningstekniken inte gäller för stokastiska optimeringsalgoritmer, är den vanliga praxisen i SGD antingen att använda en minskande stegstorlek, eller att justera en fast stegstorlek för hand, som kan vara tidskrävande i praktiken. I detta dokument föreslår vi att Barzilai-Borwein (BB) metod automatiskt beräkna stegstorlekar för SGD och dess variant: stokastisk varians reducerad lutning (SVRG) metod, vilket leder till två algoritmer: SGD-BB och SVRG-BB. Vi bevisar att SVRG-BB konvergerar linjärt för starkt konvexa objektiva funktioner. Som en biprodukt bevisar vi det linjära konvergensresultatet för SVRG med alternativ I som föreslogs [10], vars konvergensresultat saknas i litteraturen. Numeriska experiment på standarddatauppsättningar visar att SGD-BB:s och SVRG-BB:s prestanda är jämförbar med och ibland till och med bättre än SGD och SVRG med bäst anpassade stegstorlekar, och är överlägsen vissa avancerade SGD-varianter.
Tan och Al. REF använde BB-metoden för att beräkna stegstorleken för SGD och SVRG och föreslog därmed två nya metoder: SGD-BB och SVRG-BB.
Barzilai-Borwein Step Size for Stochastic Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}