I denna uppsats beskriver vi ett fenomen, som vi kallar "superkonvergens", där neurala nätverk kan tränas en storleksordning snabbare än med vanliga träningsmetoder. Existensen av superkonvergens är relevant för att förstå varför djupa nätverk generaliserar väl. En av de viktigaste inslagen i superkonvergens är träning med en inlärningscykel och en stor maximal inlärningstakt. En insikt som tillåter super-konvergens utbildning är att stora inlärningshastigheter regularisera utbildningen, vilket kräver en minskning av alla andra former av regularisering för att bevara en optimal regularisering balans. Vi härleder också en förenkling av den hessiska fria optimeringsmetoden för att beräkna en uppskattning av den optimala inlärningshastigheten. Experiment visar superkonvergens för Cifar-10/100, MNIST och Imagenet datauppsättningar, och resnet, wide-resnet, tätnät, och startarkitekturer. Dessutom visar vi att superkonvergens ger en högre prestanda i förhållande till standardträning när mängden märkta träningsdata är begränsad. Arkitekturerna och koden för att kopiera siffrorna i detta papper finns på github.com/lnsmith54/superkonvergens. Detta dokument innehåller bl.a. följande: 1. Systematiskt undersöker en ny utbildningsmetod med förbättrad hastighet och prestanda.
Ett senare arbete REF ytterligare visar att stora inlärningshastighet värden för CLRs kan påskynda neurala nätverk utbildning, kallas super-konvergens.
Super-convergence: very fast training of neural networks using large learning rates
{'venue': 'Defense + Commercial Sensing', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Engineering']}