Djupa neurala nätverk är förvånansvärt effektiva på att lösa praktiska uppgifter, men teorin bakom detta fenomen börjar bara komma ikapp med praktiken. Många verk visar att djupet är nyckeln till denna effektivitet. En viss klass av djupa konvolutionella nätverk - dvs. de som motsvarar den hierarkiska Tuckern (HT) tensen eller nedbrytningen - har visat sig ha exponentiellt högre expressiv kraft än grunda nätverk. Det vill säga. Ett grunt nätverk av exponentiell bredd krävs för att förverkliga samma poängfunktion som beräknas av den djupa arkitekturen. I detta papper, vi bevisa expressiv kraft teorem (en exponentiellt lägre bunden på bredden av motsvarande grunda nätverk) för en klass av återkommande neurala nätverk - en som motsvarar Tensor Train (TT) nedbrytning. Detta innebär att även bearbetning av en bild patch med en RNN kan vara exponentiellt effektivare än ett (shally) convolutional nätverk med ett dolt lager. Med hjälp av teoretiska resultat på relationen mellan tensornas nedbrytningar jämför vi den uttryckskraft som HT- och TT-Networks har. Vi implementerar också de återkommande TT-Networks och ger numeriskt bevis på deras expressivitet.
Ett annat parallellt arbete fokuserat på de teoretiska egenskaperna hos den modell som presenteras i detta dokument: de visade kopplingen mellan denna modell och återkommande neurala nätverk och använde den för att bevisa att RNNs är exponentiellt mer uttrycksfulla än grunda nätverk REF.
Expressive power of recurrent neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}