Konvolutionella likriktarnätverk, dvs. Konvolutionella neurala nätverk med korrigerad linjär aktivering och max eller genomsnittlig poolning, är hörnstenen i modernt djupt lärande. Men trots deras breda användning och framgång är vår teoretiska förståelse av de expressiva egenskaper som driver dessa nätverk i bästa fall partiell. Å andra sidan har vi ett mycket fastare grepp om dessa frågor i världen av aritmetiska kretsar. Särskilt är det känt att konvolutionella aritmetiska kretsar har egenskapen "fullständig djupeffektivitet", vilket innebär att förutom en försumbar uppsättning, alla funktioner som kan genomföras av ett djupt nätverk av polynom storlek, kräver exponentiell storlek för att implementeras (eller till och med approximativt) av ett grunt nätverk. I detta papper beskriver vi en konstruktion baserad på generaliserade tensorer, som omvandlar konvolutionella aritmetiska kretsar till konvolutionella likriktarnätverk. Vi använder sedan matematiska verktyg tillgängliga från världen av aritmetiska kretsar för att bevisa nya resultat. För det första visar vi att konvolutionella likriktarnätverk är universella med max pooling men inte med genomsnittlig pooling. För det andra, och ännu viktigare, visar vi att djupeffektiviteten är svagare med konvolutionella likriktarnätverk än med konvolutionella aritmetiska kretsar. Detta får oss att tro att utveckla effektiva metoder för att träna konvolutionella aritmetiska kretsar, och därmed uppfylla deras expressiva potential, kan ge upphov till en djupt lärande arkitektur som är bevisligen överlägsen konvolutionella likriktare nätverk men hittills har förbisetts av utövare.
Det visas i REF att konvolutionella neurala nätverk med ReLU aktiveringsfunktionen är universella funktion approximatorer med max pooling, men inte med genomsnittlig poolning.
Convolutional Rectifier Networks as Generalized Tensor Decompositions
{'venue': 'Proceedings of The 33rd International Conference on Machine Learning, pp. 955-963, 2016', 'journal': None, 'mag_field_of_study': ['Computer Science']}