Stochastic lutning nedstigning med en stor initial inlärningshastighet är en allmänt accepterad metod för att träna moderna neurala nätarkitekturer. Även om en liten inledande inlärningshastighet möjliggör snabbare utbildning och bättre testresultat initialt, den stora inlärningshastigheten uppnår bättre generalisering strax efter att inlärningshastigheten glödgas. För att förklara detta fenomen, vi utforma en miljö där vi kan bevisa att ett tvålagers nätverk tränas med stor inledande inlärningshastighet och glödgning tydligt generaliserar bättre än samma nätverk tränas med en liten inlärningshastighet från början. Den viktigaste insikten i vår analys är att ordningen att lära sig olika typer av mönster är avgörande: eftersom den lilla inlärningshastigheten modellen först memorerar lågt buller, svårt att anpassa mönster, generaliserar den sämre på högre buller, lättare att anpassa mönster än sin stora inlärningshastighet motsvarighet. Detta begrepp översätts till en större miljö: vi visar att man kan lägga till en liten patch till CIFAR-10 bilder som omedelbart kan memoriseras av en modell med liten initial inlärningshastighet, men ignoreras av modellen med stor inlärningshastighet fram till efter glödgning. Våra experiment visar att detta orsakar den lilla inlärningshastigheten modellens noggrannhet på omodifierade bilder att lida, eftersom det förlitar sig för mycket på patchen tidigt.
Slutligen visar REF att utbildning ett djupt nätverk med en stor inledande inlärningshastighet hjälper modellen att fokusera på att memorera lättare att anpassa, mer generaliserbara mönster snabbare och bättre - en direkt inspiration för oss att prova att rita EB-biljetter med hjälp av stora inlärningshastigheter.
Towards Explaining the Regularization Effect of Initial Large Learning Rate in Training Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}