Vi introducerar en designstrategi för neurala nätverk makro-arkitektur baserad på selfsimilarity. Upprepad tillämpning av en enda expansionsregel genererar ett extremt djupt nätverk vars strukturella layout är just en trunkerad fraktal. Ett sådant nätverk innehåller interagerande subpater av olika längder, men omfattar inte några genomgående anslutningar: varje inre signal omvandlas av ett filter och icke-linjäritet innan den ses av efterföljande lager. Denna egenskap står i skarp kontrast till den nuvarande metoden att uttryckligen strukturera mycket djupa nätverk så att utbildning är ett kvarstående inlärningsproblem. Våra experiment visar att kvarvarande representation inte är grundläggande för framgången av extremt djupa konvolutionella neurala nätverk. En fraktal design uppnår en felfrekvens på 22,85 % på CIFAR-100, vilket motsvarar den senaste tekniken som innehas av kvarvarande nätverk. Fractal nätverk uppvisar spännande egenskaper utöver sin höga prestanda. De kan betraktas som en beräkningseffektiv implicit förening av undernätverk av varje djup. Vi utforskar konsekvenserna för utbildningen, berör kopplingen till student-lärare beteende, och, viktigast av allt, visar förmågan att extrahera högpresterande fasta djup subnätverk. För att underlätta denna senare uppgift, utvecklar vi drop-path, en naturlig förlängning av avhopp, för att regularisera co-adaptation av subpates i fraktal arkitekturer. Med en sådan legalisering, fraktal nätverk uppvisar en när som helst egendom: grunda subnätverk ger ett snabbt svar, medan djupare subnätverk, med högre latency, ge ett mer exakt svar. ResNet [8] är en ny och dramatisk ökning av både djup och noggrannhet av konvolutionella neurala nätverk, underlättas genom att begränsa nätverket för att lära sig rester. ResNet varianter [8, 9, 11 ] och relaterade arkitekturer [31] använder den gemensamma tekniken att initiera och förankra, via en genomgångskanal, ett nätverk till identitetsfunktionen. Utbildningen skiljer sig nu åt i två avseenden. För det första, de objektiva förändringarna i lärande restprodukter, snarare än orefererade absoluta kartläggningar. För det andra uppvisar dessa nätverk en typ av djup övervakning [18], eftersom lager med nära identitet effektivt minskar avståndet till förlusten. Han och Al. [8] spekulerar att den förra, restformuleringen i sig själv, är avgörande. Vi visar annat, genom att bygga en konkurrenskraftig extremt djup arkitektur som inte förlitar sig på restprodukter. Vår design princip är tillräckligt ren för att kommunicera i ett enda ord, fraktal, och en enkel diagram (Figur 1 ). Ändå rekapitulerar fraktalnätverk implicit många egenskaper som är hårt kopplade till tidigare framgångsrika arkitekturer. Djup övervakning uppstår inte bara automatiskt, utan driver också en typ av lärarutbildning [1, 34] internt i nätverket. Modulära byggstenar i andra konstruktioner [32, 20] är nästan speciella fall av ett fraktalnätverks inhägnade understruktur. För fraktala nätverk, enkel träning speglar enkelhet i design. En enda förlust, knuten till det sista lagret, räcker för att driva inre beteende imitera djup övervakning. Parametrarna är slumpmässigt initierade. Eftersom de innehåller undernätverk av många djup, är fraktalnätverk robusta att välja av övergripande djup, gör dem tillräckligt djupa och utbildning kommer att skära ut en användbar montering av undernätverk.
FractalNet REF utvecklar Drop Path på ett parallellt sätt för att motverka coadaption av undernätverk i en grupp.
FractalNet: Ultra-Deep Neural Networks without Residuals
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}