Nyligen låg deplacement rank (LDR) matriser, eller så kallade strukturerade matriser, har föreslagits för att komprimera storskaliga neurala nätverk. Empiriska resultat har visat att neurala nätverk med viktmatriser av LDR matriser, kallas LDR neurala nätverk, kan uppnå betydande minskning av utrymme och beräknings komplexitet samtidigt behålla hög noggrannhet. Vi studerar formellt LDR matriser i djupt lärande. För det första bevisar vi den universella approximation egenskapen hos LDR neurala nätverk med ett milt tillstånd på förskjutnings operatörer. Vi visar sedan att felgränserna för LDR neurala nätverk är lika effektiva som allmänna neurala nätverk med både ett lager och flera lager struktur. Slutligen föreslår vi backpropagation baserad utbildning algoritm för allmänna LDR neurala nätverk.
Den universella approximations egenskapen hos låg deplacement rank (LDR) neurala nätverk har bevisats av REF under ett milt villkor på deplacement operatör, som är resultatet av en annan effektiv teknik för neurala nätverk kompression.
Theoretical Properties for Neural Networks with Weight Matrices of Low Displacement Rank
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}