Detta dokument fastställer riskkonvergens och asymptotisk viktmatris anpassning - en form av implicit regularisering - av lutningsflöde och lutning nedstigning när det tillämpas på djupa linjära nätverk på linjärt separerbara data. I mer detalj, för gradient flöde tillämpas på strikt minskande förlust funktioner (med liknande resultat för gradient nedstigning med särskilda minskande steg storlekar): (i) risken konvergerar till 0; (ii) den normaliserade i th vikt matris asymptotiskt motsvarar dess rank-1 approximation uiv i; (iii) dessa rank-1 matriser är i linje med lager, vilket innebär  på i+1 ui på → 1. När det gäller logistisk förlust (binär korsentropi), mer kan sägas: den linjära funktion som induceras av nätverket - produkten av dess viktmatriser - konvergerar till samma riktning som den maximala marginallösningen. Denna sista egenskap identifierades i tidigare arbete, men endast under antaganden om lutning nedstigning som här är implicita av anpassning fenomenet.
REF visar att produkten av vikter i ett djupt linjärt nätverk med strikt minskande förlust konvergerar i riktning mot max L 2-marginallösningen.
Gradient descent aligns the layers of deep linear networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}