Bakgrund: Djuplärande modeller tränas vanligtvis med hjälp av stokastisk lutning nedstigning eller en av dess varianter. Dessa metoder uppdaterar vikterna med hjälp av sin lutning, beräknad utifrån en liten del av träningsdatan. Det har observerats att när man använder stora satsstorlekar det finns en ihållande nedbrytning i generalisering prestanda - känd som "generalization gap" fenomen. Att identifiera ursprunget till denna lucka och minska den hade förblivit ett öppet problem. Bidrag: Vi undersöker den inledande fasen med hög inlärningstakt. Vi finner att viktavståndet från dess initiering växer logaritmiskt med antalet viktuppdateringar. Vi föreslår därför en "slumpmässig promenad på slumpmässigt landskap" statistisk modell som är känd för att uppvisa liknande "ultra-slow" diffusion beteende. Efter denna hypotes utförde vi experiment för att empiriskt visa att "generaliseringsgapet" härrör från det relativt lilla antalet uppdateringar snarare än batchstorlek, och kan helt elimineras genom att anpassa det utbildningssystem som används. Vi undersöker vidare olika tekniker för att träna modeller i stor-batch regimen och presentera en ny algoritm som heter "Ghost Batch Normalization" som möjliggör betydande minskning av generalisering gapet utan att öka antalet uppdateringar. För att validera våra resultat utför vi flera ytterligare experiment på MNIST, CIFAR-10, CIFAR-100 och ImageNet. Slutligen omvärderar vi gemensamma metoder och övertygelser när det gäller utbildning av djupa modeller och antyder att de kanske inte är optimala för att uppnå god generalisering. * Lika bidrag arXiv:1705.08741v1 [stat.ML]
På samma sätt beskriver REF den inledande träningsfasen som en högdimensionell "random walk on a random potential" process, med en "ultra-slow" logaritmisk ökning av avståndet av vikterna från deras initiering.
Train longer, generalize better: closing the generalization gap in large batch training of neural networks
{'venue': 'Advances in Neural Information Processing Systems 30 2017; pages 1729-1739; http://papers.nips.cc/paper/6770-train-longer-generalize-better-closing-the-generalization-gap-in-large-batch-training-of-neural-networks', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}