Den stokastiska lutning nedstigning (SGD) metod och dess varianter är algoritmer av val för många Deep Learning uppgifter. Dessa metoder fungerar i en liten batch regim där en bråkdel av träningsdata, t.ex. 32-512 datapunkter, provtas för att beräkna en approximation till lutningen. Det har observerats i praktiken att när man använder en större sats det finns en försämring i kvaliteten på modellen, mätt genom dess förmåga att generalisera. Vi undersöker orsaken till denna generalisering nedgång i stor-batch regim och presenterar numeriska bevis som stöder uppfattningen att stor-batch metoder tenderar att konvergera till skarpa minimerare av utbildning och testa funktioner-och som är välkänt, skarpa minima leder till sämre generalisering. Däremot, små partier metoder konsekvent konvergera till platt minimerare, och våra experiment stöder en allmänt hållen uppfattning om att detta beror på den inneboende buller i lutningsberäkningen. Vi diskuterar flera strategier för att försöka hjälpa stora partier metoder eliminera denna generalisering gap.
Till exempel föreslog REF att stora partier SGD hittar skarpa minima, vilket leder till dålig generalisering.
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}