Vi studerar den implicita regularisering som införts av lutning nedstigning för att lära flerlager homogena funktioner inklusive feed-forward fullt anslutna och konvolutionella djupa neurala nätverk med linjär, ReLU eller Leaky ReLU aktivering. Vi bevisar rigoröst att lutningsflödet (dvs. lutning nedstigning med oändligt liten stegstorlek) effektivt genomdriva skillnaderna mellan fyrkantiga normer över olika lager för att förbli invariant utan någon explicit legalisering. Detta resultat innebär att om vikterna initialt är små, balanserar lutningsflödet automatiskt magnituderna av alla skikt. Med hjälp av en diskretisering argument, analyserar vi lutning nedstigning med positiv stegstorlek för icke-konvex asymmetrisk matris faktorisering problem utan någon legalisering. Inspirerade av våra resultat för lutningsflöde, visar vi att lutning nedstigning med stegstorlekar ηt " O ́t ́p ) automatiskt balanserar två låg-ranka faktorer och konvergerar till en avgränsad global optimal. Dessutom, för rank-1 asymmetrisk matris factorization ger vi en finare analys som visar lutning nedstigning med konstant stegstorlek konvergerar till det globala minimum vid en globalt linjär hastighet. Vi tror att idén att undersöka den variabilitet som krävs av första ordningens algoritmer för att lära sig homogena modeller kan fungera som en grundläggande byggsten för att studera optimering för att lära sig djupa modeller.
Slutligen visar REF för ReLU-nätverk att lutningsflödet inte ändrar skillnaden mellan de två skiktens fyrkantiga Frobenius-normer.
Algorithmic Regularization in Learning Deep Homogeneous Models: Layers are Automatically Balanced
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}