Trots framgången med konvolutionella neurala nätverk är valet av optimal arkitektur för en given uppgift fortfarande ett öppet problem. Istället för att försöka välja en enda optimal arkitektur föreslår vi en "fabrik" som bäddar in ett exponentiellt stort antal CNN-arkitekturer. Tyget består av en 3D-trall som förbinder responskartor på olika lager, skalor och kanaler med ett glest homogent lokalt konnektivitetsmönster. Modellens enda hyperparametrar (nr. av kanaler och lager) inte är kritiska för prestanda. Medan individuella CNN-arkitekturer kan återvinnas som banor i spaljéerna, kan spaljéerna dessutom ensemble alla inbyggda arkitekturer tillsammans, dela sina vikter där deras banor överlappar varandra. De spaljéer parametrar kan läras med hjälp av standardmetoder baserade på back-förökning, till en kostnad som skalar linjärt i tygstorlek. Vi presenterar referensresultat konkurrenskraftiga med toppmoderna för bildklassificering på MNIST och CIFAR10, samt för semantisk segmentering på Part Labels dataset. Skalor Utgång Figur 1: Trellis inbäddning av två sjulagers CNN (röd, grön) och ett tiolagers dekonvolutionsnätverk (blå). Kartstorleken på CNN-skikten anges i höjdled. Trellis noder som tar emot indata och producerar utdata är inringade. Alla kanter är orienterade till höger, ner i det första lagret, och mot utgången i det sista lagret. Kanaldimensionen för 3D-trellis utelämnas för tydlighetens skull. Alla kedjestrukturerade (de)konvolutionella arkitekturer inbäddade i tyget kan återställas på lämpligt sätt och ställa in vissa vikter till noll, så att endast en enda aktiveringsväg är icke-noll längs skalan och lageraxlarna. Allmänna viktinställningar utan sökväg motsvarar liknande många arkitekturer tillsammans, som delar parametrar där kanter överlappar varandra. Den acykliska spaljén struktur gör det möjligt att lära sig med hjälp av standard fel tillbaka-förökning metoder. Lärande kan således effektivt konfigurera tyget för att genomföra var och en av exponentiellt många arkitekturer och, mer allmänt, blandningar av dem alla. Experimentella resultat som är konkurrenskraftiga med den senaste tekniken bekräftar effektiviteten i vår strategi. Våra bidrag är: (1) Vårt tyg gör det möjligt att i stor utsträckning kringgå CNN-modellens arkitekturvalsproblem. Undvika att uttryckligen utbilda och utvärdera enskilda arkitekturer med hjälp av t.ex. giriga lokala sökstrategier [3]. (2) Samtidigt som vi skalar linjärt i termer av beräknings- och minneskrav, utnyttjar vårt tillvägagångssätt exponentiellt många kedjestrukturerade arkitekturer parallellt genom att massivt dela vikter mellan dem. (3) Eftersom vårt tyg är flerskaligt genom konstruktion, kan det naturligt generera utdata vid flera upplösningar, t.ex. för bildklassificering och semantisk segmentering, genom att koppla ett förutsägelselager till noder på olika skalor i det sista lagret. Nedan diskuterar vi först relaterade arbeten och presenterar sedan vår spaljémodell i Avsnitt 3. Vi presenterar ett urval av våra experimentella resultat i Avsnitt 4 (mer i bilaga A), och avslutar i Avsnitt 5. Den kedjestrukturerade CNN-arkitektur som används av Krizhevsky et al. [14] för ImageNet klassificering används i stor utsträckning för många andra vision uppgifter. Andra allmänt antagna arkitekturer är nätverken VGG-16 och VGG-19 av Simonyan och Zisserman [27]. Även om det är effektivt för många uppgifter, är det på intet sätt klart att dessa arkitekturer är bland de bästa med tanke på deras krav på beräkning och minne. Deras utbredda införande är åtminstone delvis på grund av bristen på mer effektiva tekniker för att hitta bra arkitekturer än extremt kostsamma brute-force uttömmande eller lokal sökning [3]. Många av de (de)konvolutionella neurala nätverk som används för semantisk segmentering, liksom andra strukturerade förutsägelser uppgifter såsom pose estimation [25], är ofta baserade på CNN arkitekturer som utvecklats för bildklassificering av [14, 27], se t.ex. [2, 8, 18, 21, 24, 30, 32]. Vid sidan av decentraliserings- och sammanslagningsoperatörerna inbegriper decentraliseringsnätverken också uppsamplingsoperatörer för att öka upplösningen av prognoserna i produktionsskiktet [8, 24]. Ronneberger m.fl. [26] presenterar ett dekonvolutionsnätverk med ytterligare länkar som förenar avlägsna konvolutions- och dekonvolutionsskikt av samma upplösning. Flerskaliga arkitekturer används ofta för semantisk segmentering [2, 4, 18]. De samplar om indatabilden till flera upplösningar, bearbetar dem oberoende för flera lager, och smälter sedan samman alla strömmar genom uppampling till maximal upplösning. Strömmarna smältes sedan, och passerade genom flera fler lager för att producera den slutliga uteffekten. Sådana arkitekturer kan ses som ett träd som har blad i olika omskalade inmatningsbilder, och roten vid utmatningen. I nästa avsnitt visar vi att nästan alla (de)konvolutionella nätverk som diskuteras ovan är inbäddade i vårt material, antingen som vägar eller andra enkla del-grafer.
Neural Fabrics REF bäddar in ett exponentiellt stort antal arkitekturer med 3 × 3 filter.
Convolutional Neural Fabrics
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}