Residual Network (ResNet), föreslås i Han et al. (2015a), utnyttjade genvägsanslutningar för att avsevärt minska svårigheten med utbildning, vilket resulterade i stora prestanda ökar både i form av utbildning och generalisering fel. Det observerades empiriskt i He et al. (2015a) att stapla fler lager restblock med genväg 2 resulterar i mindre träningsfel, medan det inte är sant för genväg av längd 1 eller 3. Vi ger en teoretisk förklaring till det unika i genväg 2. Vi visar att med eller utan icke-linjäritet, genom att lägga till genvägar som har djup två, tillståndsnumret för hessian av förlustfunktionen vid noll startpunkten är djup-invariant, vilket gör träning mycket djupa modeller inte svårare än ytliga. Genvägar av högre djup resulterar i en extremt platt (hög-order) stationär punkt initialt, från vilken optimeringsalgoritmen är svår att fly. Genvägen 1, dock, är i huvudsak likvärdig med inga genvägar, som har ett tillstånd nummer exploderar till oändligheten när antalet lager växer. Vi hävdar vidare att eftersom antalet lager tenderar till oändlighet, räcker det att bara titta på förlustfunktionen vid noll startpunkt. Omfattande experiment medföljer våra teoretiska resultat. Vi visar att initiering av nätverket till små vikter med genväg 2 uppnår betydligt bättre resultat än slumpmässig Gaussian (Xavier) initiering, ortogonal initiering, och genvägar av djupare djup, från olika perspektiv som sträcker sig från slutlig förlust, lärande dynamik och stabilitet, till beteendet hos hessian längs inlärningsprocessen.
REF studerade egendomen hos den hessiska matrisen för djupa linjära resterande nätverk.
Demystifying ResNet
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}