Nyligen har djupa kvarvarande nätverk framgångsrikt tillämpats i många datorseende och naturliga språk bearbetningsuppgifter, vilket driver den senaste prestandan med djupare och bredare arkitekturer. I detta arbete tolkar vi djupa resterande nätverk som vanliga differentialekvationer (ODEs), som länge har studerats i matematik och fysik med rik teoretisk och empirisk framgång. Utifrån denna tolkning utvecklar vi en teoretisk ram för stabilitet och reversibilitet av djupa neurala nätverk, och härleda tre reversibla neurala nätverk arkitekturer som kan gå godtyckligt djupt i teorin. Reversibilitet egenskapen möjliggör en minneseffektiv implementation, som inte behöver lagra aktiveringar för de flesta dolda lager. Tillsammans med stabiliteten i våra arkitekturer möjliggör detta utbildning av djupare nätverk med endast blygsamma beräkningsresurser. Vi tillhandahåller både teoretiska analyser och empiriska resultat. Experimentella resultat visar effektiviteten av våra arkitekturer mot flera starka baslinjer på CIFAR-10, CIFAR-100 och STL-10 med överlägsen eller on-par state-of-the-art prestanda. Dessutom visar vi våra arkitekturer ge överlägsna resultat när de tränas med hjälp av färre träningsdata. Vi introducerar tre nya reversibla arkitekturer för djupa neurala nätverk och diskuterar deras stabilitet. Vi drar nytta av kopplingen mellan ResNets och ODEs för att garantera stabiliteten i den framåtutbredningsprocessen och den väl placerade inlärningsproblemet. Slutligen presenterar vi regulariseringsfunktioner som gynnar smidig tidsdynamik.
REF föreslår tre reversibla arkitekturer baserade på ResNets och ODE-system.
Reversible Architectures for Arbitrarily Deep Residual Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}