Vi studerar expressiviteten hos djupa neurala nätverk med slumpmässiga vikter. Vi ger flera resultat, både teoretiska och experimentella, som exakt beskriver deras funktionella egenskaper i termer av nätverkets djup och bredd. På så sätt illustrerar vi de inneboende kopplingarna mellan längden på en latent bana, lokala neuronövergångar och nätverksaktiveringsmönster. Det senare, ett begrepp som definieras i detta dokument, studeras vidare med hjälp av egenskaper hos hyperplane arrangemang, som också bidrar till att exakt karakterisera det neurala nätverkets verkan på ingångsutrymmet. Vi visar vidare dualiteter mellan förändringar i latent tillstånd och förändringar i nätverksvikter, och mellan antalet uppnåeliga aktiveringsmönster och antalet möjliga märkningar över inmatningsdata. Vi ser att nätets djup påverkar alla dessa mängder exponentiellt, medan bredden högst framstår som en bas. Dessa resultat tyder också på att det återstående djupet av ett neuralt nätverk är en viktig bestämningsfaktor för expressivitet, med stöd av experiment på MNIST och CIFAR-10. arXiv:1606.05336v2 [stat.ML] 24 Jun 2016 har studerats för neurala nätverk [13, 14, 15]. Vid modelldestillation tränas effektivare modeller för att efterlikna kostsamma modeller som har bättre generaliseringsfel [16]. I detta dokument fokuserar vi på den tredje av dessa egenskaper, expressivitet - kraften i klassen av djupa neurala nätverk för att representera mycket komplexa funktioner. Vi karakteriserar hur funktionskomplexiteten, under flera naturliga och relaterade definitioner, växer med både bredd och djup, och använder en av definitionerna, aktiveringsmönstret för ett djupt nätverk, för att ge teori och intuition för hur ett djupt nätverk delar in inmatningsutrymme i regioner. Vi verifierar våra resultat experimentellt på slumpmässiga nätverk, och i experiment på MNIST och CIFAR-10. Ämnet neural nätverk expressivitet har en rik historia, med olika uppfattningar om expressivitet studeras. En särskilt populär analysmetod har undersökt uppnåeliga funktioner, den uppsättning funktioner som uttrycks av en fast neural nätverk arkitektur. Detta tillvägagångssätt har gett många fascinerande resultat: neurala nätverk har visat sig vara universella approximatorer [17, 18], deras VC dimension studerade [13, 14, 15], och anslutningar mellan booleska och tröskelnät och ReLU-nätverk utvecklas i [19, 20]. VC dimension ger en övre gräns på en av de egenskaper vi mäter, och diskuteras vidare i bilaga D.1. Titta på uppnåeliga funktioner ger också en metod för att jämföra olika neurala nätverk arkitekturer. En typisk metod för detta bygger klasser av funktioner från en nätverksarkitektur som en annan är oförmögen att tillnärma effektivt [21, 22, 23, 24]. Detta används ofta för att visa fördelarna med djupa nätverk över grunda nät. Andra arbeten undersöker komplexiteten i en enda funktion som beräknas av ett djupt nätverk, snarare än komplexiteten i en uppsättning funktioner. Antalet linjära regioner infördes som ett mått på expressivitet i [25]. I [26] visades det att ett specifikt nätverk uppnår ett exponentiellt antal linjära regioner med djup. I avsnitt 2.3 generaliserar vi linjära regioner till nätverksaktiveringsmönster och utvecklar en snäv övre gräns för antalet möjliga aktiveringsmönster som konstruktionen i [26] mättar. Många av dessa resultat, även om övertygande, belyser också en nackdel med en stor del av det befintliga arbetet med expressivitet - slutsatser bygger ofta på mycket speciella funktioner eller en specifik viktsättning av ett neuralt nätverk. På något sätt missar detta det yttersta målet att förstå expressivitet, vilket är att ge karakteristiska egenskaper hos nätverk och funktioner som ansöker om någon typisk uppgift. För att ta itu med denna mer allmänna fråga krävs att man fastställer en klass av funktioner som är representativa för en viss arkitekturs "typiska" eller "genomsnittliga" uttryck och sedan förstår deras framträdande egenskaper. Vi anser att ett genomsnittligt fall som uppstår naturligt i den praktiska användningen av neurala nätverksarkitekturer, beteendet hos nätverk efter slumpmässig initiering. expressiviteten av dessa slumpmässiga nätverk är till stor del outforskad, även om en anslutning mellan slumpmässiga nätverk och kompositionskärnor utvecklas i [27]. Klassen av slumpmässiga nätverk möjliggör dragbar teoretisk och experimentell analys av inbördes relaterade aspekter av expressivitet: bana längd, neuron övergångar, nätverk aktiveringsmönster, och antal dikotomier (antal märkningar på ingångar). Vi finner att alla dessa egenskaper växer exponentiellt med djup, men bara polynom med bredd. Slumpmässiga data Att vi observerar en exponentiell ökning av dessa mått av expressivitet, även när nätverket agerar på slumpmässiga data, är särskilt anmärkningsvärt. En vanlig förklaring till effektiviteten av neurala nätverk är att deras funktionella form är väl anpassad till strukturen inneboende i naturliga data, föreslås empiriskt av t.ex. Fördelarna med att utforma översättningsinvariant till konvolutionsnätverk [28], och utforskas teoretiskt i [29]. I synnerhet djupet av neurala nätverket ses ofta att dra nytta av den hierarkiska och sammansättningsstruktur funktioner i dataset [30]. Det är därför förvånande att vi ser kvantifierbara fördelar som härrör från djupa neurala nätverk även för ostrukturerade data. Interrelaterade expressivitetsåtgärder Alla våra åtgärder för nätverksexpressivitet är sammankopplade genom banlängd. Vi visar, både teoretiskt och experimentellt, att längden på en ingångsbana växer exponentiellt med djupet av ett neuralt nätverk. Då visar vi oss.
Man kan ange en uppsättning heltal som kodar den aktiva linjära delen av varje neuron, som kallas ett aktiveringsmönster REF.
On the expressive power of deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}