Nya arbeten på implicit legalisering har visat att lutning nedstigning konvergerar till max-marginal riktning för logistisk regression med ett lager eller flera lager linjära nätverk. I detta papper generaliserar vi detta resultat till homogena neurala nätverk, inklusive fullt anslutna och konvolutionella neurala nätverk med ReLU eller LeakyReLU aktiveringar. I synnerhet studerar vi lutningsflödet (gradienten nedstigning med oändligt liten stegstorlek) optimerar logistisk förlust eller kors-entropi förlust av någon homogen modell (eventuellt icke-smooth), och visar att om träningsförlusten minskar under en viss tröskel, då kan vi definiera en utjämnad version av den normaliserade marginalen som ökar över tid. Vi formulerar också ett naturligt begränsat optimeringsproblem relaterat till marginalmaximering, och bevisar att både den normaliserade marginalen och dess utjämnade version konvergerar till det objektiva värdet vid en KKT-punkt i optimeringsproblemet. Dessutom utvidgar vi ovanstående resultat till en stor familj av förlustfunktioner. Vi utför flera experiment för att motivera våra teoretiska fynd på MNIST och CIFAR-10 dataset. För lutning nedstigning med konstant inlärningshastighet, observerar vi att den normaliserade marginalen verkligen fortsätter att öka efter datauppsättningen är monterad, men hastigheten är mycket långsam. Men om vi planerar inlärningshastigheten mer noggrant, kan vi observera en snabbare ökning av den normaliserade marginalen. Slutligen, eftersom marginalen är nära relaterad till robusthet, diskuterar vi potentiella fördelar med utbildning längre för att förbättra robustheten i modellen.
På samma sätt visar REF teoretiskt och experimentellt att detaljerna i utbildningsförfarandet avsevärt kan förändra CNN:s robusthet.
Gradient Descent Maximizes the Margin of Homogeneous Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}