Vi analyserar algoritmer för att approximera en funktion f (x) = x kartläggning d till d med hjälp av djupa linjära neurala nätverk, det vill säga att lära sig en funktion h parameteriserad av matriser 1,. .., L och definieras av h(x) = L−1. ..... 1 x. Vi fokuserar på algoritmer som lär sig genom lutning nedstigning på befolkningen quadratic förlust i fall att fördelningen över ingångarna är isotropic. Vi ger polynomiska gränser på antalet iterationer för lutning nedstigning till ungefär den minsta-kvartsmatris, I fallet där den ursprungliga hypotesen 1 =. . = L = Jag har en alltför stor förlust som begränsas av en tillräckligt liten konstant. Vi visar också att lutning nedstigning misslyckas med att konvergera för vars avstånd från identiteten är en större konstant, och vi visar att vissa former av legalisering mot identiteten i varje lager inte hjälper. Om är symmetriskt positiv definitiv, Vi visar att en algoritm som initierar i = Jag lär sig en approximation av f med hjälp av ett antal uppdateringar polynom i L, tillståndet antal Och log(d/ ). I kontrast, vi visar att om den minsta-kvartsmatrisen är symmetrisk och har ett negativt eigenvärde, då alla medlemmar av en klass av algoritmer som utför lutning nedstigning med identitetsinitiering, och valfritt regularisera mot identiteten i varje lager, misslyckas med att konvergera. Vi analyserar en algoritm för fallet som uppfyller u > 0 för alla u men kanske inte är symmetriska. Denna algoritm använder två regularizers: en som upprätthåller invariant u L‐1. ... 1 u > 0 för alla u och den andra som "balanserar" 1,. .., L så att de har samma singular värden.
På senare tid har REF visat konvergensresultat för lutningsnedstigning på sådana problem, förutsatt att ingångarna är isotropa och att den linjära målkartläggningen är symmetrisk och positiv.
Gradient Descent with Identity Initialization Efficiently Learns Positive-Definite Linear Transformations by Deep Residual Networks
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}