I detta arbete föreslår vi en ny tolkning av kvarvarande nätverk som visar att de kan ses som en samling av många vägar av olika längd. Resterande nätverk tycks dessutom möjliggöra mycket djupa nätverk genom att endast utnyttja de korta utbildningsvägarna. För att stödja denna observation skriver vi om kvarvarande nätverk som en explicit samling av sökvägar. Till skillnad från traditionella modeller, vägar genom kvarvarande nätverk varierar i längd. Vidare visar en lesionsstudie att dessa vägar visar ensembleliknande beteende i den meningen att de inte är starkt beroende av varandra. Slutligen, och mest förvånande, de flesta vägar är kortare än man kan förvänta sig, och endast de korta vägar behövs under träning, eftersom längre vägar inte bidrar någon lutning. Till exempel kommer det mesta av lutningen i ett restnät med 110 lager från stigar som bara är 10-34 lager djupa. Våra resultat avslöjar en av de viktigaste egenskaperna som verkar möjliggöra utbildning av mycket djupa nätverk: Resterande nätverk undviker problemet med försvinnande lutning genom att införa korta vägar som kan bära lutning genom hela omfattningen av mycket djupa nätverk.
Den överlägsna expressiva kraften hos djupa restnät analyserades av Ref som visade att restnät kan förstås som en samling av många vägar av olika längder och dessa vägar möjliggör utbildning av mycket djupa nätverk genom att utnyttja korta vägar.
Residual Networks Behave Like Ensembles of Relatively Shallow Networks
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science']}