Nyligen låg deplacement rank (LDR) matriser, eller så kallade strukturerade matriser, har föreslagits för att komprimera storskaliga neurala nätverk. Empiriska resultat har visat att neurala nätverk med viktmatriser av LDR matriser, kallas LDR neurala nätverk, kan uppnå betydande minskning av utrymme och beräknings komplexitet samtidigt behålla hög noggrannhet. Vi studerar formellt LDR matriser i djupt lärande. För det första bevisar vi den universella approximation egenskapen hos LDR neurala nätverk med ett milt tillstånd på förskjutnings operatörer. Vi visar sedan att felgränserna för LDR neurala nätverk är lika effektiva som allmänna neurala nätverk med både ett lager och flera lager struktur. Slutligen föreslår vi backpropagation baserad utbildning algoritm för allmänna LDR neurala nätverk.
REF bevisar vidare att de lågdeplacement-baserade neurala nätverken, som är generaliseringen av de strukturerade nätverken, fortfarande kan uppvisa universell approximation egenskap.
Theoretical Properties for Neural Networks with Weight Matrices of Low Displacement Rank
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}