Man har länge antagit att hypoteser som lämpar sig för data som är sammansatta i naturen, t.ex. text eller bilder, kan representeras mer effektivt med djupa hierarkiska nätverk än med ytliga. Trots de omfattande empiriska bevis som stöder denna uppfattning är de teoretiska motiveringarna hittills begränsade. I synnerhet står de inte för lokalitets-, delnings- och sammanslagningskonstruktioner av konvolutionella nätverk, den hittills mest framgångsrika arkitekturen för djupinlärning. I detta arbete härleder vi en djup nätverksarkitektur baserad på aritmetiska kretsar som i sig använder lokalitet, delning och poolning. En motsvarighet mellan nätverken och hierarkiska tensor factorizations etableras. Vi visar att ett grunt nätverk motsvarar CP (rank-1) nedbrytning, medan ett djupt nätverk motsvarar Hierarkisk Tucker nedbrytning. Med hjälp av verktyg från mätteori och matris algebra, visar vi att förutom en försumbar uppsättning, alla funktioner som kan genomföras av ett djupt nätverk av polynom storlek, kräver exponentiell storlek för att realiseras (eller till och med approximativt) av ett grunt nätverk. Eftersom log-space beräkning omvandlar våra nätverk till SimNets, resultatet gäller direkt för en djupt lärande arkitektur som visar lovande empiriska prestanda. Den konstruktion och teori som utvecklas i denna uppsats kastar nytt ljus över olika metoder och idéer som används av djupt lärande samhället.
REF visade att, med undantag för en försumbar uppsättning, alla funktioner som kan genomföras av ett djupt nätverk av polynom storlek, kräver en exponentiell storlek för att realiseras (eller till och med approximativt) av ett grunt nätverk.
On the Expressive Power of Deep Learning: A Tensor Analysis