Mycket djupa konvolutionella nätverk med hundratals eller fler skikt har lett till betydande minskningar av fel på konkurrenskraftiga riktmärken som ImageNet eller COCO uppgifter. Även om den oöverträffade expressiviteten hos de många djupa skikten kan vara mycket önskvärd vid provtillfället, kommer träning mycket djupa nätverk med sina egna utmaningar. Lutningarna kan försvinna, framflödet minskar ofta och träningstiden kan vara smärtsamt långsam även på moderna datorer. I detta dokument föreslår vi stokastiskt djup, ett utbildningsförfarande som gör det möjligt för det till synes motsägelsefulla upplägget att utbilda korta nät och få djupa nätverk. Vi börjar med mycket djupa nätverk men under träningen, för varje mini-batch, slumpmässigt släppa en delmängd av lager och kringgå dem med identitetsfunktionen. De resulterande nätverken är korta (i förväntan) under utbildning och djupt under testning. Utbildning Restuella nätverk med stokastiskt djup är övertygande enkelt att genomföra, men ändå effektivt. Vi visar att detta tillvägagångssätt på ett framgångsrikt sätt tar itu med utbildningssvårigheterna i de djupa nätverken och kompletterar de senaste framgångarna för Residual- och Highway Networks. Det minskar träningstiden avsevärt och förbättrar testfelen på nästan alla datamängder avsevärt (CIFAR-10, CIFAR-100, SVHN). Förvånansvärt nog, med stokastiskt djup kan vi öka djupet av kvarvarande nätverk även bortom 1200 lager och ändå ge meningsfulla förbättringar i testfel (4.91%) på CIFAR-10.
Stochastic Djup REF ) hoppa slumpmässigt lager i ett mycket djupt nätverk.
Deep Networks with Stochastic Depth
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}