Vi undersöker de dynamiska och konvergenta egenskaper hos stokastisk lutning nedstigning (SGD) tillämpas på Deep Neural Networks (DNNs). Att beskriva förhållandet mellan inlärningsfrekvens, batchstorlek och egenskaperna hos slutminima, såsom bredd eller generalisering, förblir en öppen fråga. För att ta itu med detta problem undersöker vi den tidigare föreslagna tillnärmningen av SGD genom en stokastisk differentialekvation (SDE). Vi hävdar teoretiskt att tre faktorer - inlärningsfrekvens, batchstorlek och gradient kovarians - påverkar de minima som SGD fann. I synnerhet finner vi att förhållandet mellan inlärningsfrekvens och batchstorlek är en avgörande faktor för SGD dynamik och bredden på den slutliga minima, och att högre värden av förhållandet leder till bredare minima och ofta bättre generalisering. Vi bekräftar dessa fynd experimentellt. Vidare, vi inkluderar experiment som visar att inlärningsfrekvens scheman kan ersättas med batch storlek scheman och att förhållandet mellan inlärningsfrekvens till batch storlek är en viktig faktor som påverkar memoreringsprocessen.
I REF fann man att inlärningshastigheten och batchstorleken kontrollerade avvägningen mellan djupet och bredden på minima i MGD.
Three Factors Influencing Minima in SGD
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}