Det är väl känt att för de flesta datauppsättningar, användningen av stora storlek minibatches för Stochastic Gradient Descent (SGD) vanligtvis leder till långsam konvergens och dålig generalisering. Å andra sidan är stora minibatcher av stort praktiskt intresse eftersom de möjliggör ett bättre utnyttjande av moderna GPU:er. Tidigare litteratur i ämnet fokuserade på hur man justerar de viktigaste SGD-parametrarna (särskilt inlärningshastigheten) när man använder stora minibatcher. I detta arbete introducerar vi en ytterligare funktion, som vi kallar minibatch persistens, som består i att återanvända samma minibatch för K på varandra följande SGD iterationer. Den beräkningsmässiga hypotesen här är att en stor minibatch innehåller ett betydande urval av träningssetet, så man har råd att något översitta det utan att förvärra generaliseringen för mycket. Metoden är avsedd att påskynda SGD-konvergensen och har också fördelen att minska de allmänna omkostnaderna i samband med databelastning på det interna GPU-minnet. Vi presenterar beräkningsresultat på CIFAR-10 med en AlexNet arkitektur, visar att även små persistensvärden (K = 2 eller 5) redan leder till en betydligt snabbare konvergens och till en jämförbar (eller ännu bättre) generalisering än den vanliga "disponable minibatch" metoden (K = 1), särskilt när stora minibatcher används. Den lärdom vi har lärt oss är att ihållande minibatch kan vara ett enkelt men effektivt sätt att hantera stora minibatcher.
REF beskriver ett speciellt fall av data eko de kallar "minibatch persistens" som återanvänder minibatches för flera på varandra följande SGD-uppdateringar.
Faster SGD training by minibatch persistency
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}