Stochastic Gradient Descent (SGD) med liten mini-batch är en viktig komponent i modern storskalig maskininlärning. Men dess effektivitet har inte varit lätt att analysera eftersom de flesta teoretiska resultat kräver adaptiva hastigheter och visar konvergenshastigheter mycket långsammare än för lutning nedstigning, vilket gör beräkningsjämförelser svåra. I detta dokument syftar vi till att klargöra frågan om snabb konvergens i fråga om tjänster av allmänt ekonomiskt intresse. Den viktigaste observationen är att de flesta moderna arkitekturer är överparametriserade och tränas för att interpolera data genom att driva den empiriska förlusten (klassificering och regression) nära noll. Även om det fortfarande är oklart varför dessa interpolerade lösningar fungerar bra på testdata, möjliggör dessa system mycket snabb konvergens av SGD, jämförbar i antalet iterationer med lutning nedstigning. Mer specifikt, överväga inställningen med quadratic objektiv funktion, eller nästan ett minimum, där quadratic termen är dominerande. Vi visar att: • Mini-batch storlek 1 med konstant stegstorlek är optimal när det gäller beräkningar för att uppnå ett givet fel. • Det finns en kritisk mini-batch storlek sådan att: - (linjär skalning) SGD iteration med mini-batch storlek m mindre än den kritiska storleken är nästan motsvarar m iterationer av mini-batch storlek 1. - (mättnad) SGD iteration med mini-batch större än den kritiska storleken är nästan lika med en lutning nedstigning steg. Den kritiska mini-batch storleken kan ses som gränsen för effektiv mini-batch parallellisering. Det är också nästan oberoende av datastorleken, vilket innebär att O(n) acceleration över GD per beräkningsenhet. Vi ger experimentella bevis på verkliga data, med resultaten noggrant följa våra teoretiska analyser. Slutligen visar vi hur interpolation perspektivet och våra resultat passar med den senaste utvecklingen i utbildning djupa neurala nätverk och diskutera anslutningar till adaptiva hastigheter för SGD och varians minskning.
I REF, författarna visar att för konvexa funktioner i överparameteriserad inställning, det finns en kritisk batch storlek under vilken en iteration med en batch storlek M är ungefär motsvarar M iterationer med en batch storlek av en, och batch-storlekar större än M inte förbättra graden av konvergens.
The Power of Interpolation: Understanding the Effectiveness of SGD in Modern Over-parametrized Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}