Nya arbeten har visat att på tillräckligt överparametriserade neurala nät, lutning nedstigning med relativt stor initiering optimerar en förutsägelse funktion i RKHS i Neural Tangent Kernel (NTK). Denna analys leder till globala konvergensresultat men fungerar inte när det finns en standard 2-reglering, vilket är användbart att ha i praktiken. Vi visar att proveffektivitet kan verkligen bero på närvaron av regularizer: vi konstruerar en enkel fördelning i d dimensioner som den optimala regulariserade neurala nätet lär sig med O(d) prover men NTK kräver  och 2 ) prover för att lära. För att bevisa detta, vi etablera två analysverktyg: i) för flera lager feedforward ReLU nät, visar vi att den globala minimeraren av en svagt regulariserad korsentropi förlust är den max normaliserade marginal lösning bland alla neurala nät, som generaliserar väl; ii) vi utvecklar en ny teknik för att bevisa lägre gränser för kärnmetoder, som bygger på att visa att kärnan inte kan fokusera på informativa funktioner. Motiverade av våra generaliseringsresultat, studerar vi om den regulariserade globala optimal är uppnåelig. Vi bevisar att för oändlig bredd två lager nät, bullriga lutning nedstigning optimerar den regulariserade neurala nettoförlusten till ett globalt minimum i polynom iterationer.
REF bevisade konvergensen av en viss perturbed Wasserstein gradient flöde, och etablerade en generalisering gräns för den globala minimeraren av svagt regulariserad logistisk förlust.
Regularization Matters: Generalization and Optimization of Neural Nets v.s. their Induced Kernel
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}